Hadoop2安装——伪分布式模式

继 Hadoop2安装——单机模式 http://www.linuxidc.com/Linux/2012-12/75267.htm

首先需要安装ssh  安装略

一、免密码ssh设置

ssh-keygen -t rsa

一直按<Enter> 由于不设置密码，所以就一直回车就行。

测试：

ssh localhost

其实是否必须使用ssh密码设置？我也不太清楚，很多帖子都需要这步，但官方网上没有这步。如果你有兴趣可以不操着这步试试，可能伪分布模式不需要ssh密码验证。呵呵我也是菜鸟，也不太清楚。但ssh一定是要安的。

二、修改配置文件

修改的文件都在/usr/local/hadoop-2.0.2-alpha/etc/hadoop下：

core-site.xml、hdfs-site.xml、yarn-site.xml 、mapred-site.xml. 四个文件

文件说明（略）

配置文件的添加和修改都在<configuration></configuration> 中

1、core-site.xml

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://127.0.0.1:9000</value>
</property>

添加hdfs的指定URL路径，由于是伪分布模式，所以配置的是本机IP ，可为真实Ip、localhost。

官网上还提到io.file.buffer.size配置，由于默认的比较小只有4096，所以可以安装自己的需求写该131072（官方提供)。由于我这里只是做测试，配置越简单越好。呵呵。

2、hdfs-site.xml

主要是对namenode 和 datanode 存储路径的设置。其实默认是存储在file://${hadoop.tmp.dir}/dfs/name和data 下的。所以这里也不需配置的。但默认的师临时文件，重启就没有了，所以我这里还是设置了专门的路径保存。

3、mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

好像hadoop2有了yarn所以原来的mapred配置都转向yarn-site.xml文件中了，这里也就指定yarn。同时这里也可以配置一些mapreduce.map.java.opts、mapreduce.reduce.java.opts等很多，当然我这里还是使用默认的。

4、yarn-site.xml 

为了简单，快速做测试，我还是使用默认的。