知识点
相关文章
更多最近更新
更多Ubuntu 12.04 搭建 Hadoop 集群版环境
2019-03-28 13:12|来源: 网络
终于把Hadoop集群的环境搭建好了,搭建的流程和单机版基本差不多,但是搭建过程中也遇到了许多的困难,例如:ssh授权这块,搭建过程中,出现的问题很多,导致我耽误了好长的时间!现在我把我的搭建过程梳理一下,如果有什么问题,请多多指教!
一. 搭建环境前的准备:
我的本机Ubuntu 12.04 32bit作为maser,就是上篇hadoop单机版环境搭建时用的那台机子,http://www.linuxidc.com/Linux/2013-01/78112.htm
还在KVM中虚拟了4台机子,分别起名为:
son-1 (ubuntu 12.04 32bit),
son-2 (ubuntu 12.04 32bit),
son-3 (CentOS 6.2 32bit),
son-4 (RedHat 6.0 32bit).
KVM的搭建详见:http://www.linuxidc.com/Linux/2013-01/78114.htm
KVM的桥接设置详见:http://www.linuxidc.com/Linux/2013-01/78115.htm
Ubuntu12.04搭建Hadoop单机版环境详见:http://www.linuxidc.com/Linux/2013-01/78112.htm
下来修改本机的host文件,
sudo gedit /etc/hosts
在后面添加内容为:
192.168.200.150 master
192.168.200.151 son-1
192.168.200.152 son-2
192.168.200.153 son-3
192.168.200.154 son-4
现在开始我们的打建之旅吧。
二 . 为本机(master)和子节点(son..)分别创建hadoop用户和用户组,其实ubuntu和centos下创建用户还多少还是有点区别的。
ubuntu下创建:
先创建hadoop用户组:
sudo addgroup hadoop
然后创建hadoop用户:
sudo adduser -ingroup hadoop hadoop
centos 和 redhat 下创建:
sudo adduser hadoop
注:在centos 和 redhat下直接创建用户就行,会自动生成相关的用户组和相关文件,而ubuntu下直接创建用户,创建的用户没有家目录。
给hadoop用户添加权限,打开/etc/sudoers文件;
sudo gedit /etc/sudoers
按回车键后就会打开/etc/sudoers文件了,给hadoop用户赋予root用户同样的权限。
在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL,
hadoop ALL=(ALL:ALL) ALL
三. 为本机(master)和子节点(son..)安装JDK环境。
ubuntu下一条命令即可:
sudo apt-get install openjdk-6-jre
centos和redhat建议下载源码安装。
详见:http://www.linuxidc.com/Linux/2012-11/74760.htm
四. 修改 本机(master)和子节点(son..)机器名
打开/etc/hostname文件;
sudo gedit /etc/hostname
分别修改为:master son-1 son-2 son-3 son-4。这样有利于管理和记忆!
相关问答
更多-
在docker中搭建hadoop集群有什么好方法配置ip[2024-01-02]
Docker最核心的特性之一,就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭 建多节点 Hadoop集群的详细步骤。作者在发现目前的Hadoop on Docker项目所存在的问题之后,开发了接近最小化的Hadoop镜像,... -
在线等!!关于hadoop环境搭建问题[2023-10-24]
1.关闭hdfs权限:hdfs-site.xml中 dfs.permissions false 2.检查eclipse插件是否设置了hadoop安装目录:将与linux下安装的hadoop相同版本的hadoop解压到windows下一个文件夹,然后指定hadoop插件目录,插件目录在preferences的map/reduce的hadoop installation location 3.在windows的hosts文件中添加hadoop所有节点的ip和主机名 4.关闭linux系统防火墙 5.把hadoo ... -
搭建hadoop用ubuntu的server版可以吗[2022-01-08]
调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的 -
hadoop集群搭建好了,接下来做什么[2022-06-17]
能做的太多了吧?这还愁方向?你可以看看机器学习的算法,然后用MapReduce实现。 -
hadoop开发环境配置[2023-10-03]
我的eclipse是装在WINDOWS下的,HADOOP在CENTOS生产环境。 但原理是一样额 http://club.sm160.com/showtopic-937269.aspx HADOOP 版本是hadoop1.0.0(和你的hadoop1.0.4配置相同) -
关于分布式Hadoop在WINDOWS上操作问题[2023-11-29]
若在windows的Eclipse工程中直接启动mapreduc程序,需要先把hadoop集群的配置目录下的xml都拷贝到src目录下,让程序自动读取集群的地址后去进行分布式运行(您也可以自己写java代码去设置job的configuration属性)。 若不拷贝,工程中bin目录没有完整的xml配置文件,则windows执行的mapreduce程序全部通过本机的jvm执行,作业名也是带有“local"字眼的作业,如 job_local2062122004_0001。 这不是真正的分布式运行mapred ... -
如果您的ssh localhost无法正常工作,请尝试此操作 sudo apt-get install openssh-server sudo apt-get install ssh-server rsync ssh-keygen -t rsa -P “” cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 并且在所有从属服务器上将主节点的id_rsa.pub内容复制到slave中的authorized_keys文件 If your ssh localhos ...
-
你需要下载Navicat的Linux版本 和每个在线手册 安装下载版本 打开或保存gzip文件。 将文件解压到任何你想要的地方。 打开unziped文件夹。 双击start_navicat启动你的Navicat。 请注意,启动需要一段时间。 然后会弹出一个注册屏幕,输入注册码(16位)并点击激活以在线激活密钥。 更新: 如果你在64位盒子上安装所有的32位库 sudo apt-get install ia32-libs 安装Wine运行时环境 sudo apt-get install wine You ...
-
这种错误通常是使用错误的ruby版本的结果,如问题3706 。 使用1.9.x红宝石,如问题3349 ,应该解决问题。 That kind of error is generally the result of using the wrong ruby version as in issue 3706. Using a 1.9.x ruby, as in issue 3349, should solve the problem.