【Hadoop】Build and Run HDFS

今天再一次配置HDFS，决定记录下来以备不时之需。

首先你的电脑需要安装上java JDK 1.6 这一步就不解释了，网上太多资料

安装ant

http://ant.apache.org/bindownload.cgi ant 官网地址可以直接下载，使用命令：

wget http://archive.apache.org/dist/ant/binaries/apache-ant-1.8.2-bin.tar.gz

解压文件到当前目录： tar zxvf apache-ant-1.8.2-bin.tar.gz

移动ant目录到你想要安装的目录，我用的/usr/local： sudo mv apache-ant-1.8.2 /usr/local/

为了方便后续环境变量的设置，我用了一个软链：ln -s apache-ant-1.8.2 ant

然后配置环境变量：sudo vim /etc/profile

在最后添加语句：export ANT_HOME=/usr/local/ant

export PATH=$ANT_HOME/bin:$PATH

重新启动profile：source /etc/profile

测试ant是否安装成功：ant -version

安装maven

http://www.apache.org/dyn/closer.cgi/maven/binaries/apache-maven-3.0.4-bin.tar.gz 官网下载maven安装包

wget http://apache.communilink.net/maven/binaries/apache-maven-3.0.4-bin.tar.gz

解压文件到当前目录： tar zxvf apache-maven-3.0.4-bin.tar.gz

移动maven目录到你想要安装的目录，同上： sudo mv apache-maven-3.0.4 /usr/local/

同上我用了一个软链：ln -s apache-maven-3.0.4 maven

然后配置环境变量：sudo vim /etc/profile

在最后添加语句：export M2_HOME=/usr/local/maven

export M2=$M2_HOME/bin

可选配置：export MAVEN_OPTS="-Xms256m -Xmx512m"

export PATH=$M2:$PATH

重新启动profile：source /etc/profile

测试maven是否安装成功：mvn -version

安装protobuf

参考上面的方法下载protobuf：http://code.google.com/p/protobuf/

wget http://protobuf.googlecode.com/files/protobuf-2.4.1.tar.gz

解压到当前文件夹: tar zxvf protobuf-2.4.1.tar.gz

cd protobuf-2.4.1

./configure

make

sudo make install

cd java

mvn install

protoc  // 如果出现“Missing input files” 表示安装成功

// 我运行后出现了“protoc: error while loading shared libraries: libprotobuf.so.7: cannot .....” 的错误，根据Hadoop的安装文档了解到这是linux的常见错误，只需要在命令行中执行：sudo ldconfig 即可。

详情参考：http://wiki.apache.org/hadoop/HowToContribute

Hadoop源码下载

Hadoop源码的下载地址为：  http://mirrors.devlib.org/apache/hadoop/core/

下载源码的时候选择下载src的，而不是binary的压缩包

下载完成后解压文件，然后进入src中，执行命令：mvn clean package -Pdist -DskipTests

可以根据需要build，具体查看BUILD文件，里边详述了build的不同功能需要安装的文件，我这边是需要越简单越好。

到目前为止就build好了hadoop，剩下的就是配置hadoop并使之运行

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13