Hadoop 伪分布式安装

Hadoop的安装分为本地模式、伪分布式模式、集群模式
 
在这里演示伪分布式模式的安装和部署，以下将演示hadoop安装在RedHat上的方法，首先要确保防火墙已经关闭。
 
1.      安装JDK，设置环境变量，这里选择JDK1. 6
 
2.      下载hadoop1.1.2安装文件，hadoop-1.1.2.tar.gz
 
3.      将该文件解压到linux机器上，配置hadoop环境变量，具体配置如下
 
exportJAVA_HOME=/usr/local/jdk
 
export HADOOP_HOME=/usr/local/hadoop
 
export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
 
4.      设置ssh自动登录
 
生成密钥文件，ssh-keygen -t rsa
 
修改生成文件的名字：cp id_rsa.pub authorized_keys， 这里一定要这么做
 
确认ssh自动登录已经成功：ssh hadoop，连续登录两次主机，第二次不用确认信息，说明设置成功
 

5.      配置hadoop文件
 
要配置伪分布式，这里要修改hadoop的配置文件

在hadoop中设置java home
 
1）  修改hadoop-env.sh
 
在hadoop/conf下打开hadoop-env.sh
 
export HADOOP_PID_DIR=/usr/local/hadoop/pids
 
export JAVA_HOME=/usr/local/java
 
2）  修改core-site.xml
 
在core-site.xml中加入以下行，设置hadoop file system的访问路径，以及tmp文件的存储路径，在源码中，你可以看到默认值
 
<property>
 
    <name>fs.default.name</name>
 
    <value>hdfs://hadoop:9000</value>
 
</property>
 
<property>
 
    <name>hadoop.tmp.dir</name>
 
      <value>/usr/local/hadoop/tmp</value>
 
    </property>
 
3）  修改hdfs-site.xml
 
<configuration>
 
    <property>
 
      <name>dfs.replication</name>
 
        <value>1</value>
 
    </property>
 
</configuration>
 
4）  修改mapred-site.xml
 
<configuration>
 
    <property>
 
        <name>mapred.job.tracker</name>
 
        <value>hadoop:9001</value>
 
    </property>
 
</configuration>
 
6.      格式化namenode
 
Hadoop namenode –format
 

7.      启动hadoop
 
start-all.sh,这里启动了五个java进程，有namenode, datanode, jobtracker,tasktracker, secondarynamenode, 可以用jps命令查看是否启动成功 
       

8.      在浏览器中查看namenode是否启动成功
 
http://localhost.localdomain:50070/dfshealth.jsp

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13