Ubuntu 12.04 搭建 Hadoop 集群版环境

2019-03-28 13:12|来源: 网络

终于把Hadoop集群的环境搭建好了,搭建的流程和单机版基本差不多,但是搭建过程中也遇到了许多的困难,例如:ssh授权这块,搭建过程中,出现的问题很多,导致我耽误了好长的时间!现在我把我的搭建过程梳理一下,如果有什么问题,请多多指教!

一. 搭建环境前的准备:

我的本机Ubuntu 12.04 32bit作为maser,就是上篇hadoop单机版环境搭建时用的那台机子,http://www.linuxidc.com/Linux/2013-01/78112.htm

还在KVM中虚拟了4台机子,分别起名为:

son-1        (ubuntu 12.04 32bit),

son-2        (ubuntu 12.04 32bit),

son-3        (CentOS 6.2 32bit),

son-4        (RedHat 6.0 32bit).

KVM的搭建详见:http://www.linuxidc.com/Linux/2013-01/78114.htm

KVM的桥接设置详见:http://www.linuxidc.com/Linux/2013-01/78115.htm

Ubuntu12.04搭建Hadoop单机版环境详见:http://www.linuxidc.com/Linux/2013-01/78112.htm

下来修改本机的host文件,

sudo gedit /etc/hosts

在后面添加内容为:

192.168.200.150 master

192.168.200.151 son-1

192.168.200.152 son-2

192.168.200.153 son-3

192.168.200.154 son-4

现在开始我们的打建之旅吧。

二 . 为本机(master)和子节点(son..)分别创建hadoop用户和用户组,其实ubuntu和centos下创建用户还多少还是有点区别的。

ubuntu下创建:

先创建hadoop用户组:

sudo addgroup hadoop

然后创建hadoop用户:

sudo adduser -ingroup hadoop hadoop

centos 和 redhat 下创建:

sudo adduser hadoop

注:在centos 和 redhat下直接创建用户就行,会自动生成相关的用户组和相关文件,而ubuntu下直接创建用户,创建的用户没有家目录。

给hadoop用户添加权限,打开/etc/sudoers文件;

sudo gedit /etc/sudoers

按回车键后就会打开/etc/sudoers文件了,给hadoop用户赋予root用户同样的权限。

在root  ALL=(ALL:ALL)  ALL下添加hadoop  ALL=(ALL:ALL)  ALL,

hadoop  ALL=(ALL:ALL) ALL

三. 为本机(master)和子节点(son..)安装JDK环境。

ubuntu下一条命令即可:

sudo apt-get install openjdk-6-jre

centos和redhat建议下载源码安装。

详见:http://www.linuxidc.com/Linux/2012-11/74760.htm

四. 修改 本机(master)和子节点(son..)机器名

打开/etc/hostname文件;

sudo gedit /etc/hostname

分别修改为:master  son-1  son-2  son-3  son-4。这样有利于管理和记忆!

相关问答

更多
  • Docker最核心的特性之一,就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭 建多节点 Hadoop集群的详细步骤。作者在发现目前的Hadoop on Docker项目所存在的问题之后,开发了接近最小化的Hadoop镜像,...
  • 1.关闭hdfs权限:hdfs-site.xml中 dfs.permissions false 2.检查eclipse插件是否设置了hadoop安装目录:将与linux下安装的hadoop相同版本的hadoop解压到windows下一个文件夹,然后指定hadoop插件目录,插件目录在preferences的map/reduce的hadoop installation location 3.在windows的hosts文件中添加hadoop所有节点的ip和主机名 4.关闭linux系统防火墙 5.把hadoo ...
  • 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的
  • 能做的太多了吧?这还愁方向?你可以看看机器学习的算法,然后用MapReduce实现。
  • 我的eclipse是装在WINDOWS下的,HADOOP在CENTOS生产环境。 但原理是一样额 http://club.sm160.com/showtopic-937269.aspx HADOOP 版本是hadoop1.0.0(和你的hadoop1.0.4配置相同)
  • 若在windows的Eclipse工程中直接启动mapreduc程序,需要先把hadoop集群的配置目录下的xml都拷贝到src目录下,让程序自动读取集群的地址后去进行分布式运行(您也可以自己写java代码去设置job的configuration属性)。   若不拷贝,工程中bin目录没有完整的xml配置文件,则windows执行的mapreduce程序全部通过本机的jvm执行,作业名也是带有“local"字眼的作业,如 job_local2062122004_0001。 这不是真正的分布式运行mapred ...
  • 如果您的ssh localhost无法正常工作,请尝试此操作 sudo apt-get install openssh-server sudo apt-get install ssh-server rsync ssh-keygen -t rsa -P “” cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 并且在所有从属服务器上将主节点的id_rsa.pub内容复制到slave中的authorized_keys文件 If your ssh localhos ...
  • 你需要下载Navicat的Linux版本 和每个在线手册 安装下载版本 打开或保存gzip文件。 将文件解压到任何你想要的地方。 打开unziped文件夹。 双击start_navicat启动你的Navicat。 请注意,启动需要一段时间。 然后会弹出一个注册屏幕,输入注册码(16位)并点击激活以在线激活密钥。 更新: 如果你在64位盒子上安装所有的32位库 sudo apt-get install ia32-libs 安装Wine运行时环境 sudo apt-get install wine You ...
  • 这种错误通常是使用错误的ruby版本的结果,如问题3706 。 使用1.9.x红宝石,如问题3349 ,应该解决问题。 That kind of error is generally the result of using the wrong ruby version as in issue 3706. Using a 1.9.x ruby, as in issue 3349, should solve the problem.