Hadoop伪分布式集群环境配置

该文档是对自己在虚拟机环境下进行Hadoop集群环境进行配置的总结。首先安装环境是：

宿主机：Windows 7 旗舰版

虚拟机：VirtualBox 4.2.0

虚拟机操作系统：openSUSE 12.2

Hadoop：1.0.3

1．虚拟机安装

首先进行VirtualBox和opensuse在VirtualBox中的安装，比较简单，不再做详细的介绍。

小技巧：在VirtualBox中可以设置共享文件夹，以便Windows7和opensuse共享一些文件。具体设置如下，首先运行opensuse；然后点击“设备”→“共享文件夹”，选择一个Window7中的一个文件夹作为共享文件夹。在opensuse中使用下面命令将共享文件夹挂载到opensuse中，其中挂载点可是opensuse的任意

mount -t vboxsf 共享文件夹的名字 挂载点

文件夹，一般可以在mnt目录下。该条命令的具体例子如下：

mount -t vboxsf sharefile /mnt

2．Java安装

Opensuse安装完成后，需要进行JDK的安装和配置。JDK安装完成后，需要设置两个环境变量JAVA_HOME和PATH。一般有两种方式可以设置这两个变量。一个是修改/etc/profile文件，在该文件末尾追加下面两行代码：

export JAVA_HOME=/usr/java.1.6.35（JDK安装目录）

export $PATH=$PATH:$JAVA_HOME/bin

修改完文件后使用source /etc/profile更新文件。

还有一种方法是修改bash的配置文件，一般是/home/username/.bashrc，在里面添加上面两行代码。

3．Hadoop安装

Java安装完成后，可以进行Hadoop的安装。首先去Apache网站下载Hadoop安装包，然后将Hadoop解压到你想存储的目录，本次安装使用的目录是/usr。然后进行Hadoop解压操作：

tar zxf  hadoop-1.0.3.tar.gz

解压完成后需要配置Hadoop环境变量，与Java环境变量的配置基本相同。可以在/etc/profile添加下面两行。

export HADOOP_INSTALL=/usr/hadoop-1.0.3

export $PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin

也可以采用第二种方式，在.bashrc文件中添加上面两行代码。

4．ssh配置

首先，确定ssh已经安装，否则进行下载安装。然后使用下面的命令行生成密钥对：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

密钥对生成后，验证一下是否成功，使用命令ssh localhost进行验证。如果没有成功，重新启动ssh后台服务，使用命令service sshd restart。

5．Hadoop配置

Hadoop的配置文件可以放在Hadoop的安装目录下（这是默认情况），也可以放在其他地方。本次安装放在了一个新的目录下/root/etc/hadoop/pdist，/root/etc/hadoop目录下共有三个文件，分别对应standalone模式、为分布式模式和分布式模式，分别为standalone、pdist和dist。下面看一下pdist目录下几个主要的配置文件。

<!-- core-site.xml -->

<?xml version="1.0"?>

<configuration>

<property>

Configuration | 619

<name>fs.default.name</name>

<value>hdfs://localhost/</value>

</property>

</configuration>

<!-- hdfs-site.xml -->

<?xml version="1.0"?>

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

<!-- mapred-site.xml -->

<?xml version="1.0"?>

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:8021</value>

</property>

</configuration>

除了以上三个主要的配置文件外，还需要有masters和slaves两个文件，但是基本不需要进行什么修改。

这里有一个需要主要的地方，Hadoop在为分布式配置下，其运行过程中使用到了本机的计算机名称，如果在linux host文件下没有计算机名称和ip的配对，会抛出异常。在host文件中需要添加配对

Linux计算机名 127.0.0.1

例如linux-ja3s 127.0.0.1

这样Hadoop为分布式环境基本配置完毕，可以运行。

6．Hadoop运行

在运行Hadoop的时候，要指定配置文件目录，先启动HDFS，再启动MapReduce。

start-dfs.sh --config /root/etc/hadoop/pdist

start-mapred.sh --config /root/etc/hadoop/pdist