Hadoop实战之Hadoop完全分布式集群安装

要想深入的学习Hadoop数据分析技术，首要的任务是必须要将hadoop集群环境搭建起来，可以将hadoop简化地想象成一个小软件，通过在各个物理节点上安装这个小软件，然后将其运行起来，就是一个hadoop分布式集群了。

说来简单，但是应该怎么做呢？不急，本文的主要目的就是让新手看了之后也能够亲自动手实施这些过程。由于本人资金不充裕，只能通过虚拟机来实施模拟集群环境，虽然说是虚机模拟，但是在虚机上的hadoop的集群搭建过程也可以使用在实际的物理节点中，思想是一样的。也如果你有充裕的资金，自己不介意烧钱买诸多电脑设备，这是最好不过的了。

也许有人想知道安装hadoop集群需要什么样的电脑配置，这里只针对虚拟机环境，下面介绍下我自己的情况：

CPU：Intel酷睿双核 2.2Ghz

内存: 4G

硬盘: 320G

系统：xp

老实说，我的本本配置显然不够好，原配只有2G内存，但是安装hadoop集群时实在是很让人崩溃，本人亲身体验过后实在无法容忍，所以后来再扩了2G，虽然说性能还是不够好，但是学习嘛，目前这种配置还勉强可以满足学习要求，如果你的硬件配置比这要高是最好不过的了，如果能达到8G，甚至16G内存，学习hadoop表示无任何压力。

说完电脑的硬件配置，下面说说本人安装hadoop的准备条件：

1 安装Vmware WorkStation软件

有些人会问，为何要安装这个软件，这是一个VM公司提供的虚拟机工作平台，后面需要在这个平台上安装linux操作系统。具体安装过程网上有很多资料，这里不作过多的说明。

2 在虚拟机上安装linux操作系统

在前一步的基础之上安装linux操作系统，因为hadoop一般是运行在linux平台之上的，虽然现在也有windows版本，但是在linux上实施比较稳定，也不易出错，如果在windows安装hadoop集群，估计在安装过程中面对的各种问题会让人更加崩溃，其实我还没在windows上安装过，呵呵~

在虚拟机上安装的linux操作系统为Ubuntu10.04，这是我安装的系统版本，为什么我会使用这个版本呢，很简单，因为我用的熟^_^其实用哪个linux系统都是可以的，比如，你可以用CentOS, RedHat, Fedora等均可，完全没有问题。在虚拟机上安装linux的过程也在此略过，如果不了解可以在网上搜搜，有许多这方面的资料。

3 准备3个虚拟机节点

其实这一步骤非常简单，如果你已经完成了第2步，此时你已经准备好了第一个虚拟节点，那第二个和第三个虚拟机节点如何准备？可能你已经想明白了，你可以按第2步的方法，再分别安装两遍linux系统，就分别实现了第二、三个虚拟机节点。不过这个过程估计会让你很崩溃，其实还有一个更简单的方法，就是复制和粘贴，没错，就是在你刚安装好的第一个虚拟机节点，将整个系统目录进行复制，形成第二和第三个虚拟机节点。简单吧！~~

很多人也许会问，这三个结点有什么用，原理很简单，按照hadoop集群的基本要求，其中一个是master结点，主要是用于运行hadoop程序中的namenode、secondorynamenode和jobtracker任务。用外两个结点均为slave结点，其中一个是用于冗余目的，如果没有冗余，就不能称之为hadoop了，所以模拟hadoop集群至少要有3个结点，如果电脑配置非常高，可以考虑增加一些其它的结点。slave结点主要将运行hadoop程序中的datanode和tasktracker任务。

所以，在准备好这3个结点之后，需要分别将linux系统的主机名重命名（因为前面是复制和粘帖操作产生另两上结点，此时这3个结点的主机名是一样的），重命名主机名的方法：

Vim /etc/hostname

通过修改hostname文件即可，这三个点结均要修改，以示区分。

以下是我对三个结点的ubuntu系统主机分别命名为：master, node1, node2

基本条件准备好了，后面要干实事了，心急了吧，呵呵，别着急，只要跟着本人的思路，一步一个脚印地，一定能成功布署安装好hadoop集群的。安装过程主要有以下几个步骤：

一、配置hosts文件
二、建立hadoop运行帐号
三、配置ssh免密码连入
四、下载并解压hadoop安装包
五、配置namenode,修改site文件
六、配置hadoop-env.sh文件
七、配置masters和slaves文件
八、向各节点复制hadoop
九、格式化namenode
十、启动hadoop
十一、用jps检验各后台进程是否成功启动
十二、通过网站查看集群情况

下面我们对以上过程，各个击破吧！~~