知识点
相关文章
更多最近更新
更多单节点Hadoop安装过程
2019-03-28 13:09|来源: 网络
1.1.1 环境准备
本次由一台CentOS虚拟服务器搭建Hadoop平台,机器信息如表1所示:
表1 主机环境准备
名称 |
信息 |
IP |
10.1.1.20 |
hostname |
Master.hadoop |
为方便使用,现给出主机环境方面需要修改的地方:
● IP地址修改
IP地址位于/etc/sysconfig/network-scripts/目录中,通过vi编辑ifcfg-eth0文件修改成如下所示结构即可:
[root@master network-scripts]# cd /etc/sysconfig/network-scripts/
[root@master network-scripts]# cat ifcfg-eth0
DEVICE="eth0"
ONBOOT=yes
TYPE=Ethernet
BOOTPROTO=none
IPADDR=10.1.1.20
PREFIX=24
GATEWAY=10.1.1.1
DEFROUTE=yes
HWADDR=00:30:16:AF:00:D1
● hostname修改
Hostname修改位于/etc/sysconfig/network文件中,其修改后的结果如下所示:
[root@master network-scripts]# cat /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master.hadoop
● DNS修改
DNS位于/etc/hosts文件中,修改的结果如下所示:
[root@master network-scripts]# cat /etc/hosts
10.1.1.20 master.hadoop master
127.0.0.1 localhost.localdomain localhost
● 环境测试
通过ping测试master.hadoop是否畅通:
[root@master network-scripts]# ping master.hadoop
PING master.hadoop (10.1.1.20) 56(84) bytes of data.
64 bytes from master.hadoop (10.1.1.20): icmp_seq=1 ttl=64 time=0.040 ms
64 bytes from master.hadoop (10.1.1.20): icmp_seq=2 ttl=64 time=0.016 ms
--- master.hadoop ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1467ms
rtt min/avg/max/mdev = 0.016/0.028/0.040/0.012 ms
1.1.2Java安装与部署
Hadoop需要java环境支持,通常需要java 1.6版本以上,因此可以通过去java官方网站下载JDK环境,下载地址为:
http://www.Oracle.com/technetwork/java/javase/downloads/jdk-6u25-download-346242.html
从本链接中选择jdk-6u25-linux-x64-rpm.bin,在接受协议后方可下载到本地;
● Java安装
将下载到后java文件传至master.hadoop主机/home目录中,下面可以进行对其进行安装:
[root@master home]# chmod u+x jdk-6u25-linux-x64-rpm.bin
[root@master home]# ./jdk-6u25-linux-x64-rpm.bin
● Java配置
Java安装完毕后,可以对java目录信息进行环境变量配置,配置信息需增加至文件/etc/profile之中,具体如下所示:
[root@master home]#vi /etc/profile
JAVA_HOME=/usr/java/jdk1.6.0_25
CLASSPATH=.:$JAVA_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
环境变量配置完毕后,通过命令进行检验并生效:
[root@master jdk1.6.0_25]# source /etc/profile
1.1.3 SSH配置
通过配置SSH实现基于公钥方式无密码登录,具体操作步骤为:创建一个新的hadoop帐户、生成这个帐户的SSH公钥、配置公钥授权文件、设置SSH服务登录方式等,下面给出具体方式:
● 创建hadoop帐户
[root@master jdk1.6.0_25]# useradd hadoop #创建帐号
[root@master jdk1.6.0_25]# passwd hadoop #配置密码
● 生成公钥
[hadoop@master ~]$ ssh-keygen #生成SSH认证公钥,连续回车即可
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/hadoop/.ssh/id_rsa.
Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.
The key fingerprint is:
86:b5:d9:6a:ea:03:4e:5a:97:e5:24:5b:1f:65:41:89 hadoop@master.hadoop
The key's randomart image is:
+--[ RSA 2048]----+
| ooo |
| E + |
| . o |
| .o++. |
| .OS... |
| + +.... |
| = o o |
| . . .o |
| .o. |
+-----------------+
[hadoop@master ~]$ cd .ssh/
[hadoop@master .ssh]$ ls
id_rsa id_rsa.pub
相关问答
更多-
oracle 安装过程[2022-05-15]
如何连接oracle数据库及故障解决办法 如何配置才能使客户端连到数据库: 要使一个客户端机器能连接oracle数据库,需要在客户端机器上安装oracle的客户端软件,唯一的例外就是java连接数据库的时候,可以用jdbc thin模式,不用装oracle的客户端软件。加入你在机器上装了oracle数据库,就不需要在单独在该机器上安装oracle客户端了,因为装oracle数据库的时候会自动安装oracle客户端。 用过sql server数据库然后又用oracle的新手可能会有这样的疑问:问什么我用sql ... -
WindowBlinds下载及安装过程![2021-10-04]
因为图片贴不过来 推荐这个地方你看看 http://www.desktx.com/tutorial/3608.html -
cadence的安装过程[2023-11-01]
安装过程如下. 1 Edit this license file and replace the "flexserver" field below with your computer hostname 编辑license.dat,用记事本打开后,将flxeserver用你的计算机名代替,并保存。 2 Create 2 environment variables: a) LM_LICENSE_FILE=5280@你的计算机名 b) CDS_LIC_FILE=5280@你的计算机名 建立两个环境变量。a) L ... -
linux安装过程[2022-02-10]
成功安装slackware 12.0 在昨天11:40pm左右完成对SLACKWARE 12.0的安装。主要是正确安装了KDE桌面以及其桌面配置。在昨天12:00AM 时已经完成了命令行的安装,差个桌面进不去 敲了 startx 电脑它丫的反应是切断MONITOR 的信号 "NO SIGNAL" 这招实在恨毒!我是想看看最新的K桌面是啥样子。又去整个 xorgconfig 本人是菜鸟级的用户,对LINUX命令表现无能,就是傻眼了。还好论坛上有位老外写了个从光盘安装方法,对配置是有借鉴作用,虽然我是从硬盘安装 ... -
Linux 安装过程的问题[2023-07-28]
建议装开源Ubuntu系统 也是linux系统 -
mysql安装过程[2022-07-28]
-
MYSQL安装过程无法完成具体如下.[2021-07-01]
这个是mysql安装包的一个bug,其实MM你的机器现在已经启动了mysql了,所以无法再次启动,解决方法就是: 开始——>运行——>cmd——>输入net stop mysql 然后再重新执行这个配置,就ok啦! -
linux安装过程[2022-01-27]
可以,我只装过Ubuntu,这个这几年还不错。安装方便,用一个小软件和虚拟光驱就可以。不会对xp有影响,只是占一部分空间,只要你的某个盘的剩余空间够用,就可以装到这个盘,而且不用格盘,装好之后盘里原来的东西无损。要想装Ubuntu的话,建议安装雨林木风的定制版,新手用这个比较方便,不然的话配置会很烦。 -
linux中安装一个程序 怎么把安装过程输入到日志[2021-09-22]
用重定向啊,或者在安装脚本中需要记录的阶段都用echo把信息写入到日志文件中 -
在日志中查看以下行: 2012-03-25 00:10:30,911 INFO org.apache.hadoop.mapred.TaskTracker: org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find taskTracker/jobcache/job_201203242348_0001/attempt_201203242348_0001_m_000002_0/output/file.out in any of th ...