Ubuntu 12.04下Hadoop1.0.4的伪分布式安装

2019-03-28 13:11|来源: 网络

Ubuntu 12.04下Hadoop1.0.4的伪分布式安装过程记录。

一、安装JDK
1、下载并安装
        sudo apt-get install openjdk-6-jdk(安装JDK7为:sudo apt-get install openjdk-7-jdk)
        要求输入当前用户密码时输入密码,回车;
        要求输入YES/NO时,输入YES,回车,一路向下安装完成;
2、在命令行输入JAVA -VERSION查看是否安装成功
3、配置环境变量
        编辑文件/etc/profile,在文件最下面加入以下三行
        export JAVA_HOME=/usr/lib/jvm/java-6-openjdk(JAVA所在的实际目录)
        export PATH=$JAVA_HOME/bin:$PATH
        export CLASSPATH=.:$JAVA_HOME/lib/:$CLASSPATH
二、配置SSH免密码登录
1、安装所需软件
        sudo apt-get install install ssh
2、配置ssh免密码登录
        ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
        cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys
3、验证是否成功
        ssh localhost
三、安装Hadoop
1、下载Hadoop至服务器
2、解压
        tar -xvf hadoop-1.0.4.tar
3、配置Hadoop
        以下四个配置文件均在Hadoop解压文件夹的conf/目录下
        (1)、配置hadoop-env.sh
        修改JAVA_HOME:
        export JAVA_HOME=/usr/lib/jvm/java-6-openjdk
        (2)、配置core-site.xml
        修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号
        <configuration>
            <property>
                <name>fs.default.name</name>
                <value>hdfs://localhost:9000</value>
            </property>
        </configuration>
        (3)、配置hdfs-site.xml
        修改Hadoop中HDFS的配置,配置的备份方式默认为3,因为安装的是单机版,所以需要改为1
        <configuration>
            <property>
                <name>dfs.replication</name>
                <value>1</value>
            </property>
        </configuration>
        (4)、配置mapred-site.xml
        修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口
        <configuration>
            <property>
                <name>mapred.job.tracker</name>
                <value>localhost:9001</value>
            </property>
          </configuration>
4、初始化HDFS
        bin/hadoop namenode -format
5、启动所有Hadoop服务
        bin/start-all.sh
6、验证是否安装成功
        打开浏览器,分别输入以下网址:
        http://localhost:50030 (MapReduce的Web页面)
        http://localhost:50070 (HDfS的web页面)
        如果能成功访问,则说明Hadoop安装成功

相关问答

更多
  • ubuntu安装[2022-05-12]

    ubuntu安装方式很多: 1.光盘安装:下载的镜像通过win下的nero等软件刻盘然后使用光盘引导系统安装。 2.硬盘安装:将下载的镜像中提取出kernel文件,通过grub4dos引导系统安装。 3.网络安装:管理员经常使用的安装方式。 4.wubi安装:不用了解linux下文件系统就能安装ubuntu,但是在双重引导菜单的系统下安装可能会出问题,例如vista和windows7. 硬盘安装我写过一篇教程,你可以参考下: 不过我写的是8.10的,9.10的要将教程里面的所有initrd.gz换成ini ...
  • 我建议你安装双系统,在国内的环境下windows系统有时是必须的。这样的话就得先安装windows再安装ubuntu12.04。因为windows会把mbr里的引导记录覆盖掉,导致bios引导时无法找到linux,安装linux时它会识别windows系统,会很人性化的保留两个系统引导选项供你选择。 安装ubuntu可以先下载个Universal-USB-Installer,找台电脑把U盘做成启动盘,然后设置bios启动顺序后,U盘启动,就可以很轻松的安装了。 学习linux推荐第三版的《鸟哥的私房菜》,很 ...
  • 我的eclipse是装在WINDOWS下的,HADOOP在CENTOS生产环境。 但原理是一样额 http://club.sm160.com/showtopic-937269.aspx HADOOP 版本是hadoop1.0.0(和你的hadoop1.0.4配置相同)
  • 若在windows的Eclipse工程中直接启动mapreduc程序,需要先把hadoop集群的配置目录下的xml都拷贝到src目录下,让程序自动读取集群的地址后去进行分布式运行(您也可以自己写java代码去设置job的configuration属性)。   若不拷贝,工程中bin目录没有完整的xml配置文件,则windows执行的mapreduce程序全部通过本机的jvm执行,作业名也是带有“local"字眼的作业,如 job_local2062122004_0001。 这不是真正的分布式运行mapred ...
  • 确保你已经从源码构建Nutch,即不要使用只能在本地模式下工作的二进制版本。 一旦你编译完毕 蚂蚁干净的运行 转到运行时/ deploy / bin并像往常一样运行脚本。 注意,您需要在重新编译之前修改conf文件。 Make sure you have built Nutch from source i.e. don't use the binary release which works only in local mode. Once you've compile with ant clean run ...
  • 在我安装的ubuntu机器上,按照以下简单的步骤进行操作: $ wget https://storage.googleapis.com/golang/go1.4.2.linux-amd64.tar.gz $ sudo tar -C /usr/local -xzf go1.4.2.linux-amd64.tar.gz $ rm go1.4.2.linux-amd64.tar.gz 添加到您的$ PATH变量 $ mkdir $HOME/go $ nano ~/.bashrc export GOPATH=$H ...
  • 你需要下载Navicat的Linux版本 和每个在线手册 安装下载版本 打开或保存gzip文件。 将文件解压到任何你想要的地方。 打开unziped文件夹。 双击start_navicat启动你的Navicat。 请注意,启动需要一段时间。 然后会弹出一个注册屏幕,输入注册码(16位)并点击激活以在线激活密钥。 更新: 如果你在64位盒子上安装所有的32位库 sudo apt-get install ia32-libs 安装Wine运行时环境 sudo apt-get install wine You ...
  • 修改/etc/hosts以包含主机名环回映射: 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 127.0.1.1 is-joshbloom-hadoop ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 您的问题是您的机器不知道如何解析主机名is-joshbloom-hadoop到特定 ...
  • 尝试从源代码构建: sudo apt-get install make automake libtool curl curl -sSL https://github.com/libuv/libuv/archive/v1.8.0.tar.gz | sudo tar zxfv - -C /usr/local/src cd /usr/local/src/libuv-1.8.0 sudo sh autogen.sh sudo ./configure sudo make sudo make install sudo ...
  • 一些一般信息: 在Linux(几乎)中,所有内容都在库中实现,请查看dpkg -l | grep lib dpkg -l | grep lib 。 所有以lib开头的Debian软件包都是将库安装到/usr/lib或/lib库软件包。 通常有一个包含其API文档的库的lib*-doc包。 一般的软件包文档安装在/usr/share/doc 。 在联机帮助页系统中也可能有帮助,尝试man man和GNU info工具。 C / C ++头文件位于/usr/include ,你必须将它们翻译成Pascal才能使 ...