Hadoop单机环境搭建笔记(Ubuntu)

2019-03-28 13:38|来源: 网络

下载Hadoop
hadoop下载地址:
http://www.apache.org/dyn/closer.cgi/hadoop/core/
这里下载的版本是1.0.3
$ mkdir hadoop
$ wget http://www.fayea.com/apache-mirror/hadoop/core/stable/hadoop-1.0.3.tar.gz .

安装java
首先用“java -version”查看是否已安装,如果显示类似于java version "1.7.0_147-icedtea 则表示已安装
没有安装可以参考:http://www.linuxidc.com/Linux/2012-07/64509.htm
安装必须设置JAVA_HOME和CLASSPATH
我的配置:
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-i386/
export CLASSPATH=/home/zxm/java:$CLASSPATH:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
并将这两行语句放在:~/.bashrc中

安装ssh
$ sudo apt-get install ssh
安装完成后,需要确认可以用ssh免密码登录localhost
$ ssh localhost
如果需要密码才能登录,则需要设置:
$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsachin@lily ~
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

安装rsync
rsync是linux实现远程同步的软件
$ sudo apt-get install rsync

配置启动hadoop
解压:
$ tar -zxvf  hadoop-1.0.3.tar.gz
修改配置文件:
修改conf/core-site.xml:

  1. <configuration>  
  2. <property>  
  3. <name>fs.default.name</name>  
  4. <value>hdfs://localhost:9000</value>  
  5. </property>  
  6. </configuration>  
修改conf/hdfs-site.xml:
  1. <configuration>  
  2. <property>  
  3. <name>dfs.replication</name>  
  4. <value>1</value>  
  5. </property>  
  6. </configuration>  
修改conf/mapred-site.xml:
  1. <configuration>  
  2. <property>  
  3. <name>mapred.job.tracker</name>  
  4. <value>localhost:9001</value>  
  5. </property>  
  6. </configuration>  
初始化hadoop Namenode:
$ bin/hadoop namenode –format
启动:
$ bin/start-all.sh
确认启动:
$ jps
5146 Jps
4538 TaskTracker
4312 JobTracker
4015 DataNode
4228 SecondaryNameNode
3789 NameNode
表示启动成功

以下内容写入~/.bashrc:
  1. sh /home/zxm/hadoop/hadoop-1.0.3/bin/start-all.sh  
  2. alias hadoop='/home/zxm/hadoop/hadoop-1.0.3/bin/hadoop'    
  3. alias hls='hadoop fs -ls'   
  4. alias hlsr='hadoop fs -lsr'   
  5. alias hcp='hadoop fs -cp '   
  6. alias hmv='hadoop fs -mv'   
  7. alias hget='hadoop fs -get'   
  8. alias hput='hadoop fs -put'   
  9. alias hrm='hadoop fs -rm'   
  10. alias hmkdir='hadoop fs -mkdir'   
  11. alias hcat='hadoop fs -cat'   
  12. alias hrmr='hadoop fs -rmr'   
  13. alias hstat='hadoop fs -stat'   
  14. alias htest='hadoop fs -test'   
  15. alias htext='hadoop fs -text'   
  16. alias htouchz='hadoop fs -touchz'   
  17. alias hdu='hadoop fs -du'   
  18. alias hdus='hadoop fs -dus'   
  19. alias hchmod='hadoop fs -chmod'   
  20. alias hchgrp='hadoop fs -chgrp'   
  21. alias hchown='hadoop fs -chown'   
  22. alias htail='hadoop fs -tail'  

相关问答

更多
  • 1.关闭hdfs权限:hdfs-site.xml中 dfs.permissions false 2.检查eclipse插件是否设置了hadoop安装目录:将与linux下安装的hadoop相同版本的hadoop解压到windows下一个文件夹,然后指定hadoop插件目录,插件目录在preferences的map/reduce的hadoop installation location 3.在windows的hosts文件中添加hadoop所有节点的ip和主机名 4.关闭linux系统防火墙 5.把hadoo ...
  • 你可以在Windows系统上,装linux的虚拟机 在linux虚拟机上装hadoop
  • 1、下载安装JDK,以及Eclipse 具体看此链接:http://blog.csdn.net/weixuehao/article/details/17715793 2、新建JAVA Project 3、去cloudera网站下载hadoop的CDH3u6版本。将起解压到win7的某个目录 4、选中OperateHDFS,右击,选择“property”,弹出右侧的窗口; 选择“Java Build Path” —— “Libraries” —— Add External Jars 5、到上面的画面后,下面就 ...
  • 你用0.21版本的吧? 这个不稳定,且不提供支持的,现在学的话找0.20版本的学吧。 HDFS not found可能是由于你的HADOOP_HOME没有设置, 执行如下命令后再hdfs namenode -format: export HADOOP_HOME="你的hadoop安装路径"
  • namenode节点配置 conf/core-site.xml: fs.default.name hdfs:// localhost:9000 hdfs测试环境配置 conf/hdfs-site.xml: 数据块不需要冗余 dfs.replication 1 job-tracker配置 conf/mapred-site.xml: mapred.job.tracker localhost:9001 免密码ssh登录配置 $ ssh localhost # 若不行, 则进行以下配置 $ ssh-keygen - ...
  • 你肯定可以把你的宿主机的ip固定下来 而且使用bridge 你的虚拟机也能设置成固定的ip
  • 单节点localhost. 否则就是各节点的hostname,另外要区分你用的是哪个版本的hadoop,最新版本不需要在配置文件里指定哪个是master,只需配置namenode的hostname即可
  • centOs6,redhat,Ubuntu都行,我个人感觉centOs比较好用,我自己也在用。
  • ubuntu配置单机hadoop的步骤: 1、创建hadoop用户组 2、创建hadoop用户 sudo adduser -ingroup hadoop hadoop 回车后会提示输入新的UNIX密码,这是新建用户hadoop的密码,输入回车即可。 如果不输入密码,回车后会重新提示输入密码,即密码不能为空。 最后确认信息是否正确,如果没问题,输入 Y,回车即可。 3、为hadoop用户添加权限 输入:sudo gedit /etc/sudoers 回车,打开sudoers文件 给hadoop用户赋予和roo ...