Hadoop全分布安装配置及常见问题

2019-03-28 13:35|来源: 网络

如果您发现以下有任何错误,请狠狠指出,谢谢。

一、初始说明

  • 系统:Fedora 15
  • 机器:7台,NameNode 1+ SecondaryNameNode 1+ DataNode 5
  • 单机配置:1G内存,2 core ,32位,35GB可用硬盘,此配置纯属用于简单实验 
  • Hadoop需要运行在Oracle的hotspot JDK上,fedora自带的open-jdk似乎不行
  • 使用默认的单机架结构,即所有机子在同一个机架
 二、软件包准备

  • Hadoop:官网链接,本实验使用tar.gz包,版本为hadoop-1.0.3
  • JDK:官网链接,本实验使用rpm,版本为1.7.0
三、安装

  1. 所有机子上,创建hadoop用户,为了方便密码也保持一致。
  2. 在NameNode机器上解压下载Hadoop到hadoop用户的主目录下,命令:tar -zxvf hadoop-*.tar.gz /home/hadoop/
  3. 在所有机器上安装JDK,双击或命令:rpm -ivh jdk*.rpm,需要root用户密码。
四、配置/etc/profile,主要是配置jdk环境变量和hadoop的环境变量,在其中添加如下内容(注意版本不同要作相应修改):

export JAVA_HOME="/usr/java/jdk1.7.0"
export JRE_HOME="/usr/java/jdk1.7.0/jre"
export HADOOP_HOME="/home/hadoop/hadoop-1.0.3"
export CLASSPATH=.:$JAVA_HOME/LIB:$JRE_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

#每台机子上的/etc/profile文件都要修改哈~

相关问答

更多
  • PPT常见问题[2022-05-13]

    呵呵,你在空白处右击【粘贴】就可以了,记住,不要在标题或是正文处粘贴。你可以看看窗内网的《PowerPoint》视频教程,那里讲的很清楚的,我也是从视频中学到的。
  • 中了病毒有可能让系统瘫痪
  • 计算机常见问题[2023-04-16]

    电脑常见问题有很多,大大小小都会有,不能一概而论,所以你的问题不太好回答!
  • 试试看吧,加一个系统环境变量,名称 Path,值为: C:\oracle\ora92\bin;C:\Program Files\Oracle\jre\1.3.1\bin;C:\Program Files\Oracle\jre\1.1.8\bin;%SystemRoot%\system32;%SystemRoot%;%SystemRoot%\System32\Wbem;C:\Program Files\IDM Computer Solutions\UltraEdit-32;C:\Program Files\C ...
  • 在Linux上安装Hadoop之前,需要先安装两个程序: 1. JDK 1.6或更高版本; 2. SSH(安全外壳协议),推荐安装OpenSSH。 下面简述一下安装这两个程序的原因: 1. Hadoop是用Java开发的,Hadoop的编译及MapReduce的运行都需要使用JDK。
  • 两个问题,16行提示命令不存在,你看看你写的是什么 第二个,找不到java文件夹,你看下是不是路径写错了
  • 最主要的是以下20多个问题。 (1)谈谈你对我单位的看法。 (2)谈谈你自己的情况。 (3)你为什么要来这儿工作? (4)你的人际关系如何? (5)你过去的领导对你如何? (6)你的主要缺点是什么? (7)你有什么特长? (8)你有哪些业余爱好? (9)你对什么最感兴趣? (10)你的家庭、婚姻状况如何? (11)你对待遇有何要求? (12)你能适应所要承担的工作吗? (13)你对与工作有关的理论知识掌握如何? (14)你的经验符合工作要求吗? (15)这项工作压力大、困难多,你受得了吗? (16)请例举某 ...
  • 1、自我介绍:介绍你的经历和特长(优势和特点),至于姓名等纸面上有的就没有必要再重复了 2、原来担任工作的内容或专业(指应届毕业生):口才好的可以为自己的工作内容增加点色彩,不会的就老老实实回答。而应届毕业生请实事求是的回答 3、为什么离开原来的公司或为什么选择我们公司:强调自身在原来公司的优势和事迹,同时表示对自身能力的肯定以及原有公司的栽培,暗示对方与原公司的分别只是因为某些很冠冕的原因,而不是因为某些恩怨(招聘单位很忌讳应聘人员说原来公司的坏话),最后要明确告知对方自己哪方面的能力或特质是与他们的工作 ...