知识点
相关文章
更多最近更新
更多VMware虚拟机中搭建Hadoop集群
2019-03-28 13:13|来源: 网络
1、下载的软件: VMware Workstation Ubuntu SUN-JDK Hadoop,可到官网下载
2、安装 VMwareWorkstation 虚拟机,并建立 Master 虚拟主机(记住,先是建立一个虚拟机,然后在这个基础上进行clone,这样就能利用已建好的虚拟机,以及在其上安装好的软件和相关配置,达到复用的效果),同时,在建立虚拟机时应该选择桥接模式,原因不在叙述,可查看相关资料
3、在Master主机下,建立hadoop用户(可以选择其他的),以及hadoop组,(在Hadoop集群中建立相同的用户以及组是基本要求)
4、Hadoop 集群 IP地址分配:
192.168.1.108 master
192.168.1.103 node1
192.168.1.101 node2
当然,自己可根据自己的IP进行分配,为此,需要在Master主机下修改 /etc/hosts文件,加入上面的配置,同时修改 /etc/hostname 中的内容为 master,至于为什么要选择主机名,而不直接用IP地址,主要是为了直观以及可扩展性
5、在Master主机下安装java,并配置好环境变量,可参考 http://www.linuxidc.com/Linux/2012-06/62078.htm
6、 在Master主机下安装SSH :
1) ssh-keygen -t rsa 一路回车下去即可,即可生成公钥(~/.ssh/id_rsa.pub)和私钥(~/.ssh/id_rsa)文件。
7、在Master主机下安装好Hadoop
1) 解压缩 tar -xvzf hadoop-0.20.2.tar.gz
2) 配置Hadoop环境变量 修改 ~/.bashrc,在文件最后面加上如下配置:
export HADOOP_HOME=/home/hadoop/Downloads/hadoop-1.0.4
export PATH=$PATH:$HADOOP_HOME/bin
3) 配置master和slaves文件 修改 hadoop安装目录下的/conf/masters 文件,http://www.linuxidc.com 内容如下所示:
master,
以及 hadoop安装目录下的/conf/slaves 文件,内容如下
node1
node2
4) 配置 hadoop安装目录下的/conf/hadoop-env.sh文件,修改 JDK的路径为实际安装路径 ,如下所示:
export JAVA_HOME=/home/hadoop/Downloads/jdk1.6.0_37
5) 配置 hadoop安装目录下的conf/core-site.xml文件为:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
<description></description>
</property>
<property>
<name>Hadoop.tmp.dir</name>
<value>/myhadoop</value>
<description></description>
</property>
</configuration>
相关问答
更多-
VMware虚拟机怎么安装vmware tools[2023-12-07]
我刚刚做成了,哈哈 这个是linux的,不知道你的是不是,给你参考 如果是windows系统的,可能选菜单栏,虚拟机 → 安装VMware工具 → Install 在虚拟windows里面打开光驱安装就行了,比linux简单多了 虚拟Linux系统教程之二_安装vmtool(Red Hat Linux 9) 所用虚拟机软件VM5.0.0 build-13124 汉化版 和 虚拟Linux系统 Red Hat Linux 9 首先启动虚拟机软件VM(虚拟Linux系统 Red Hat Linux 9 已经 ... -
虚拟机搭建hadoop集群怎么让ip地址固定[2022-04-03]
在windows7系统,使用VM虚拟机软件,用Linux搭建Hadoop集群。 在集群上需要使用规划的IP地址,这里就遇到问题,自己规划IP时,Linux无法上网。 -
关于在VMware虚拟机中安装Linux系统。[2023-10-18]
很简单,网上下载一个linux的系统,记住要是.ISO(如果有光盘也行)格式的哦。然后启动VMware,新建虚拟机(英文是Create a new virtual machine),然后选择典型(Typical),或者自定义(Customer)也行,接下来就会出现Installer disc(如果你有linux的光盘就选这个),如果是镜像ISO格式的就选第二个,然后点击浏览(Browse)找到你电脑上的linux镜像文件,点确定,接下来就很简单了,按提示操作就行。 时间关系就说到这里,不懂的还可以问我,给我 ... -
vmware虚拟机怎么用[2022-05-09]
你先把linux光盘放进光驱,然后打开虚拟机,新建一个虚拟机,选中linux就行了,然后运行,就自动开始装linux了,就是和在电脑上装linux一样装,只不过它是虚拟机,祝你成功! -
生产环境 虚拟机搭建hadoop集群 好么[2022-01-30]
前段时间用3台虚拟机搭了,20G的存储1G的内存。 01装master,上面起个namenode;02,03装slave,各自起datanode,zk集群最小部署要3台,每台机器都装。 -
如何在虚拟机中搭建hadoop[2022-02-25]
方法/步骤 1 设置虚拟机和本机上的ip 2 可以清楚的看到多出现了两个网卡选项,这里我们使用VMware Network Adapter VMnet1 就行了,然后将其与的一个禁用。启用第一个之后,就要去给这个设置ip地址了,那么这个ip地址应该设置为多少呢?这个可以根据你自己的喜好自己去设置就好了,只要是在有效的网关之内都行 下面是我设置的ip地址 这样设置好了本机的ip地址之后呢,就应该去设置虚拟机的ip地址了,首先要保证虚拟机被本机的通讯方式为host-only模式,即,仅主机模式、 打开VmWar ... -
如何在虚拟机中搭建linux集群[2021-12-24]
你需要一台服务器,然后装一个虚拟化OS,有了这个平台,就可以虚拟化出若干个虚拟机。当然,现在选择云商也可以,就是得花点钱。 -
在VMware虚拟机怎样[2023-09-06]
一、安装vmware 安装vmware很简单的,我只是说说我的郁闷事。 安装vmware workstation我遇到的问题:”win2003 server标准版上无法安装vmware workstation5.5.3 ? “ 当时我在cu上发贴问过。 准备在刚买的机器上(windows 2003)安装vmware,再装centos 4.4 + oracle 10g,在装vmware(5.5.3)时出问题了,点安装文件,安装界面后出现闪了一下马上就没了,以为是杀毒软件或防火墙的问题,将杀毒软件或防火墙全部退 ... -
vmware虚拟机怎么使用?[2024-02-15]
你先把linux光盘放进光驱,然后打开虚拟机,新建一个虚拟机,选中linux就行了,然后运行,就自动开始装linux了,就是和在电脑上装linux一样装,只不过它是虚拟机,祝你成功! -
VMware虚拟机怎么安装vmware tools[2023-08-16]
我刚刚做成了,哈哈 这个是linux的,不知道你的是不是,给你参考 如果是windows系统的,可能选菜单栏,虚拟机 → 安装VMware工具 → Install 在虚拟windows里面打开光驱安装就行了,比linux简单多了 虚拟Linux系统教程之二_安装vmtool(Red Hat Linux 9) 所用虚拟机软件VM5.0.0 build-13124 汉化版 和 虚拟Linux系统 Red Hat Linux 9 首先启动虚拟机软件VM(虚拟Linux系统 Red Hat Linux 9 已经安装 ...