首页 \ 教程 \ hadoop

知识点

  • hadoop

    • 相关文章

    更多
  • Ubuntu 12.10 +Hadoop 1.2.1版本集群配置
  • Ubuntu 12.10 安装JDK、Hadoop全过程
  • Hadoop Ubuntu集群安装
  • Hadoop在Ubuntu上安装遇到的一些问题
  • Ubuntu 12.10下Hadoop1.0.4集群安装指南
  • Ubuntu 12.04 SSH 安装
  • Ubuntu部署Hadoop
  • 《ubuntu12.10wubi安装入门》[压缩包]
  • Ubuntu中部署 Hadoop
  • Ubuntu下安装及配置单点Hadoop
  • Ubuntu 12.10下Hadoop集群免登陆配置
  • Ubuntu下Hadoop环境的配置
  • ubuntu下安装和配置solr
  • Ubuntu下安装Solr
  • Ubuntu10.10-Hadoop安装向导

    • 最近更新

    更多
  • java线程状态详解(6种)
  • redis从库只读设置-redis集群管理
  • Netty环境配置
  • Netty基于流的传输处理
  • Netty入门实例-使用POJO代替ByteBuf
  • Netty入门实例-时间服务器
  • Netty入门实例-编写服务器端程序
  • Netty开发环境配置
  • 电商平台数据库设计
  • HttpClient 上传文件
  • MongoDB常用命令
  • 快速了解MongoDB【基本概念与体系结构】
  • windows系统安装MongoDB
  • Spring boot整合MyBatis-Plus 之二：增删改查
  • 分布式ID生成器【snowflake雪花算法】

    • Ubuntu 12.10安装与测试Hadoop1.1.0版本

    2019-03-28 13:19|来源: 网络

    最近没什么事，就使用之前测试openstack的机器，测试一下Hadoop，看看他到底是干嘛的？

    测试环境为Ubuntu 12.04 64位系统，Hadoop版本是1.1.0

    下面是安装过程

    1、安装jdk
    1. apt-get install openjdk-7-jdk
    安装完成后测试一下
    1. root@openstack:~/hadoop/conf# java -version
    2. java version "1.6.0_24"
    3. OpenJDK Runtime Environment (IcedTea6 1.11.5) (6b24-1.11.5-0ubuntu1~12.04.1)
    4. OpenJDK 64-Bit Server VM (build 20.0-b12, mixed mode)
    可以看到我的jdk是1.6版本的
    2、下载hadoop
    1. wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.1.0/hadoop-1.1.0.tar.gz
    3、安装hadoop
    先解压
     
    1. tart zxvf hadoop-1.1.0.tar.gz
    然后重命名
    1. mv hadoop-1.1.0 hadoop
    然后对hadoop进行配置
    （1）修改conf/core-site.xml
    1. <configuration>
    2. <property>
    3. <name>fs.default.name</name>
    4. <value>hdfs://localhost:9000</value>
    5. </property>
    6. <property>
    7. <name>hadoop.tmp.dir</name>
    8. <value>/home/hadoop/tmp</value>
    9. </property>
    10. </configuration>
    注意：hadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多路径都依赖它。它默认的位置是在/tmp/{$user}下面，在local和hdfs都会建有相同的目录，但是在/tmp路径下的存储是不安全的，因为linux一次重启，文件就可能被删除。导致namenode启动不起来。
    （2）修改conf/hdfs-site.xml
    1. <configuration>
    2. <property>
    3. <name>dfs.replication</name>
    4. <value>1</value>
    5. </property>
    6. </configuration>
    (3) 修改conf/mapred-site.xml
    1. <configuration>
    2. <property>
    3. <name>mapred.job.tracker</name>
    4. <value>localhost:9001</value>
    5. </property>
    6. </configuration>
    （4）为了是hadoop能找到java，所以在conf/hadoop-env.sh最后一行添加jdk的路径，我的java路径为
    1. export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-amd64
    然后再检测一下
    1. root@openstack:~/hadoop/conf# java -version
    2. java version "1.6.0_24"
    3. OpenJDK Runtime Environment (IcedTea6 1.11.5) (6b24-1.11.5-0ubuntu1~12.04.1)
    4. OpenJDK 64-Bit Server VM (build 20.0-b12, mixed mode)
    可以看到我的jdk是1.6版本的
    （5）在namenode端cd到hadoop文件夹下，格式化分布式文件系统：
    1. bin/hadoop namenode -format
    下面是我的操作结果
    1. root@openstack:~/hadoop/conf# cd ..
    2. root@openstack:~/hadoop# bin/hadoop namenode -format
    3. 12/11/27 14:10:43 INFO namenode.NameNode: STARTUP_MSG:
    4. /************************************************************
    5. STARTUP_MSG: Starting NameNode
    6. STARTUP_MSG: host = openstack/127.0.1.1
    7. STARTUP_MSG: args = [-format]
    8. STARTUP_MSG: version = 1.1.0
    9. STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.1 -r 1394289; compiled by 'hortonfo' on Thu Oct 4 22:06:49 UTC 2012
    10. ************************************************************/
    11. 12/11/27 14:10:43 INFO util.GSet: VM type = 64-bit
    12. 12/11/27 14:10:43 INFO util.GSet: 2% max memory = 17.77875 MB
    13. 12/11/27 14:10:43 INFO util.GSet: capacity = 2^21 = 2097152 entries
    14. 12/11/27 14:10:43 INFO util.GSet: recommended=2097152, actual=2097152
    15. 12/11/27 14:10:44 INFO namenode.FSNamesystem: fsOwner=root
    16. 12/11/27 14:10:44 INFO namenode.FSNamesystem: supergroupsupergroup=supergroup
    17. 12/11/27 14:10:44 INFO namenode.FSNamesystem: isPermissionEnabled=true
    18. 12/11/27 14:10:44 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100
    19. 12/11/27 14:10:44 INFO namenode.FSNamesystem: isAccessTokenEnabled=falseaccessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
    20. 12/11/27 14:10:44 INFO namenode.NameNode: Caching file names occuring more than 10 times
    21. 12/11/27 14:10:44 INFO common.Storage: Image file of size 110 saved in 0 seconds.
    22. 12/11/27 14:10:44 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/home/hadoop/tmp/dfs/name/current/edits
    23. 12/11/27 14:10:44 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/home/hadoop/tmp/dfs/name/current/edits
    24. 12/11/27 14:10:46 INFO common.Storage: Storage directory /home/hadoop/tmp/dfs/name has been successfully formatted.
    25. 12/11/27 14:10:46 INFO namenode.NameNode: SHUTDOWN_MSG:
    26. /************************************************************
    27. SHUTDOWN_MSG: Shutting down NameNode at openstack/127.0.1.1
    28. ************************************************************/
    （6）然后再启动服务，由于我的单节点安装，所以就全部启动
    1. bin/start-all.sh
    下面是我的操作
    1. root@openstack:~/hadoop# bin/start-all.sh
    2. starting namenode, logging to /root/hadoop/libexec/../logs/hadoop-root-namenode-openstack.out
    3. localhost: starting datanode, logging to /root/hadoop/libexec/../logs/hadoop-root-datanode-openstack.out
    4. localhost: starting secondarynamenode, logging to /root/hadoop/libexec/../logs/hadoop-root-secondarynamenode-openstack.out
    5. starting jobtracker, logging to /root/hadoop/libexec/../logs/hadoop-root-jobtracker-openstack.out
    6. localhost: starting tasktracker, logging to /root/hadoop/libexec/../logs/hadoop-root-tasktracker-openstack.out
    然后再输入jps查看本机的启动情况
    1. root@openstack:~/hadoop# jps
    2. 9340 SecondaryNameNode
    3. 9665 TaskTracker
    4. 9426 JobTracker
    5. 9822 Jps
    6. 8853 NameNode
    7. 9091 DataNode
    可以看到namenode与datanode都启动了
    如果你不是单机模式，多节点的话，你在namenode看到的就只有namenode而没有datanode，反之在datanode也是一样。
    然后再打开http://localhost:50030与http://localhost:50070查看运行情况，由于我的机器的ip是192.168.1.30，所以我如果不在本机查看的话，就可以使用http://192.168.1.30：50030查看
    下面是http://192.168.1.30:50030的界面

    下面是http://192.168.1.30:50070的界面

    相关问答

    更多

    • linux下怎样安装ubuntu？[2022-02-20]

      下载一个光盘镜像，用软件写入进U盘里面，这个软件Ubuntu有自带在系统管理面，叫什么创建器，我记不清了，然后设置BIOS为U盘启动就可以启动安装系统了，我当初没有了win就是这样安装系统的，U盘准备2个G。或者自己写光碟也很方便的。 ———————————————————— 希望我的回答能帮助你。(￣︶￣)↗ 。

    • ubuntu12.10移动硬盘安装教程[2022-02-23]

      装的时候选择了将grub装进 移动硬盘的mbr?如果是，在开机时选择从移动硬盘引导( 笔记本的话一般按F12可以选择boot的设备，到时选你的移动硬盘，或者干脆进bios，把usb-HDD作为第一优先引导)，出现grub的画面后选ubuntu即可。 你要重装的话只要注意在安装时选择正确的grub安装位置，移动硬盘的话放进mbr(就是说你的移动硬盘如果有2个 分区，分别的sdb1和sdb2的话，要把mbr装进sdb 主引导区而不是sdb1或sdb2，一个分区也是一样，装时选没 数字的)。

    • Ubuntu安装问题[2023-11-28]

      1.最好是一个系统一个分区； 2.最好是在主分区，当然也可以不这样做； 3.先装XP，再装windows7，最后装Ubuntu，不然就会很麻烦； 4.windows7的至少要35GB。 5.Ubuntu 安装的盘的文件系统要用EXT3或EXT2，最好用EXT4； 6.你可以查一些相关的安装教程。

    • ubuntu安装[2022-05-12]

      ubuntu安装方式很多： 1.光盘安装：下载的镜像通过win下的nero等软件刻盘然后使用光盘引导系统安装。 2.硬盘安装：将下载的镜像中提取出kernel文件，通过grub4dos引导系统安装。 3.网络安装：管理员经常使用的安装方式。 4.wubi安装：不用了解linux下文件系统就能安装ubuntu，但是在双重引导菜单的系统下安装可能会出问题，例如vista和windows7. 硬盘安装我写过一篇教程，你可以参考下： 不过我写的是8.10的，9.10的要将教程里面的所有initrd.gz换成ini ...

    • Ubuntu的Mysql怎么下载[2022-01-27]

      直接在ubuntu系统中使用 apt-get install mysql 就可以下载使用了

    • ubuntu12.10移动硬盘安装教程[2022-04-05]

      装的时候选择了将grub装进移动硬盘的mbr？如果是，在开机时选择从移动硬盘引导（笔记本的话一般按F12可以选择boot的设备，到时选你的移动硬盘，或者干脆进bios，把usb-HDD作为第一优先引导），出现grub的画面后选ubuntu即可。 你要重装的话只要注意在安装时选择正确的grub安装位置，移动硬盘的话放进mbr（就是说你的移动硬盘如果有2个分区，分别的sdb1和sdb2的话，要把mbr装进sdb主引导区而不是sdb1或sdb2，一个分区也是一样，装时选没数字的）。

    • Linux都有什么版本啊？还有就是我想知道ubuntu与其他版本有什么不同？[2023-10-27]

      它只是操作系统的核心，负责控制硬件、管理文件系统、程序进程等。Linux Kernel(内核)并不负责提供用户强大的应用程序，没有编译器、系统管理工具、网络工具、Office套件、多媒体、绘图软件等，这样的系统也就无法发挥其强大功能，用户也无法利用这个系统工作，因此有人便提出以Linux Kernel为核心再集成搭配各式各样的系统程序或应用工具程序组成一套完整的操作系统，经过如此组合的Linux套件即称为Linux发行版。 国外封装的Linux以Red Hat(又称为“红帽Linux”)、OpenLinux ...

    • Ubuntu是linux的一个版本？[2024-03-18]

      ubuntu是一款中文化的linux操作系统，并且开拓者ubuntu是一款易用的，简单的，中文化的ubuntu衍生版本，集成最新的补丁，常用的软件，努力做到，一次安装，免去后续配置.

    • 请问高手，hadoop 是应该安装在linux ubuntu 服务器版本上，还是linux ubuntu 桌面版本上[2022-04-10]

      分为单机和集群，网上一堆，很多博客上面有，你可以看下，当然，我有个单机的，在fedora转过，要的私我

    • 去Ubuntu安装(Go setup on ubuntu)[2022-02-07]

      在我安装的ubuntu机器上，按照以下简单的步骤进行操作： $ wget https://storage.googleapis.com/golang/go1.4.2.linux-amd64.tar.gz $ sudo tar -C /usr/local -xzf go1.4.2.linux-amd64.tar.gz $ rm go1.4.2.linux-amd64.tar.gz 添加到您的$ PATH变量 $ mkdir $HOME/go $ nano ~/.bashrc export GOPATH=$H ...

    Copyright ©2023 peixunduo.com All Rights Reserved.粤ICP备14003112号

    本站部分内容来源于互联网，仅供学习和参考使用，请莫用于商业用途。如有侵犯你的版权，请联系我们(neng862121861#163.com)，本站将尽快处理。谢谢合作！