云计算Hadoop配置

1.1 配置资源需求

2  Linux Ubuntu 10.10  

//最新版本可上官方网站免费下载 www.ubuntulinux.org

//也可以向 Ubuntu 社区申请免费安装 shipit.ubuntu.com

2  Hadoop 0.21.0包

//最新版本可在 Apache 提供的镜像服务器下载

//www.apache.org → download → 镜像服务器 →hadoop

2  Sun-java6-jdk 包

//在终端机里输入:sudo apt-get install sun-java6-jdk

//系统会自动下载包以及所有的依存包,同时进行包的安装

2  SSH包

//远程登录会话提供安全性协议

//在终端机里输入:sudo apt-get install ssh

2  Eclipse包

 //官方下载最新版本:www.eclipse.org/downloads/

1.2 资源配置流程

1.2.1 安装ubuntu 10.10

1)        更新deb软件包列表

       $ sudo apt-get update

2)        安装系统更新

       $ sudo apt-get upgrade

1.2.2 安装JDK6

1)        安装

   $ sudo apt-get install sun-java6-jdk      //默认路径在/usr/lib/jvm,安装时需要 TAB 键选择 OK

2)        配置Java环境变量

    $ sudo gedit /etc/environment        //在environment文件中添加CLASSPATH和JAVA_HOME

    CLASSPATH=".:/usr/lib/jvm/java-6-sun/lib"

    JAVA_HOME="/usr/lib/jvm/java-6-sun"

3)        调整虚拟机顺序

        $ sudo gedit /etc/jvm           //添加/usr/lib/jvm/java-6-sun，如果jvm文件不存在，自己创建一个

1.2.3 安装ssh

1)        安装open-server

    $ sudo apt-get install open-server

2)        建立SSH KEY

    $ ssh-keygen -t rsa -P ""

3)        启动SSH KEY

    $ cat $HOME/.ssh/id_rsa.pub >>$HOME/.ssh/authorized_keys

    $ sudo /etc/init.d/ssh reload

4)        验证ssh配置

    $ ssh localhost

图1-1 验证ssh

1.2.4 安装Hadoop

1)        安装Hadoop

          $ cd  ~          //选择进入默认文件夹

         $ sudo tar xvf hadoop-0.21.0.tar.gz //解压至当前路径

         $ mv hadoop-0.21.0 hadoop //重命名为 hadoop

         $ sudo chown -R administrator:administrator hadoop  //赋予administrator权限

2)        配置HADOOP_HOME or HADOOP_COMMON_HOME

    因为在不同的版本中配置的HADOOP_HOME的名称不一样，所以首先查看不同的Hadoop版本用的到底是哪一个名称的，输入命令:

     $ vim bin/start-dfs.sh

图 1-2 查看HADOOP_COMMON_HOME

     从查看文件的标示中可以看出，该版本的hadoop中用的名称是HADOOP_COMMON_HOME，所以只要配置该名称的环境变量即可，首先找到Hadoop所安装的目录，然后，编辑/etc/environment文件,加入图1-3所示黑体的一句话即可。

     $ sudo vim /etc/environment

图1-3 配置HADOOP_COMMON_HOME

3)        配置JAVA_HOME(当前路径在HADOOP_OME下面)

   配置$HADOOP_HOME/conf/hadoop-env.sh，添加本地JAVA_HOME的路径。

    $ sudo vim conf/hadoop-env.sh

图1-4 配置hadoop-env.sh