知识点
相关文章
更多最近更新
更多如何搭建Hadoop集群
2019-03-28 13:31|来源: 网络
今天决定重新搭建Hadoop集群,如果是新手看这篇文章一定不要觉得很难,你只需要耐心和细心就ok了
准备工作
1.判断机器上是否有ssh服务,
[linuxidc @ www.linuxidc.com Desktop]$ ssh -verison
OpenSSH_5.3p1, OpenSSL 1.0.0-fips 29 Mar 2010
Bad escape character 'rison'.
我的系统自带的,所以不用装了。
2.判断机器上是否有JDK
[linuxidc @ www.linuxidc.com Desktop]$ java -version
java version "1.6.0_24"
OpenJDK Runtime Environment (IcedTea6 1.11.1) (rhel-1.45.1.11.1.el6-i386)
OpenJDK Server VM (build 20.0-b12, mixed mode)
[linuxidc @ www.linuxidc.com Desktop]$ javac -version
javac 1.6.0_24
如果是系统自带的JDK,最好重装一下。 http://www.linuxidc.com/Linux/2012-08/67185.htm
进入主题
1.下载和安装hadoop,我下载的是hadoop-0.20.2.tar.gz
解压文件:[root@ www.linuxidc.com Downloads]# tar -zxvf hadoop-0.20.2.tar.gz
移动文件:[root@ www.linuxidc.com Downloads]# mv hadoop-0.20.2 /usr/local/
安装文件:[root@ www.linuxidc.com Downloads]# ln -s hadoop-0.20.2 hadoop
2.修改环境变量
[root@ www.linuxidc.com local]#vi /etc/profile
在文件的下面添加,不能直接在文件的上面添加
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
[root@ www.linuxidc.com local]#. /etc/profile
[root@ www.linuxidc.com local]# vi /usr/local/hadoop/conf/hadoop.env.sh(配置JAVA_HOME)
[root@ www.linuxidc.com Desktop]# hadoop version
Hadoop 0.20.2
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707
Compiled by chrisdo on Fri Feb 19 08:07:34 UTC 2010
压轴大戏
1.NameNode配置
[hadoop@hadoop1 ~]# vi /etc/hosts
192.168.127.145 hadoop1
192.168.127.146 hadoop2
192.168.127.147 hadoop3
192.168.127.148 hadoop4
[root@ www.linuxidc.com conf]# vi core-site.xml
- <configuration>
- <property>
- <name>fs.default.name</name>
- <value>hdfs://hadoop1:9000</value>
- </property>
- </configuration>
[root@ www.linuxidc.com conf]# vi hdfs-site.xml
- <configuration>
- <property>
- <name>dfs.replication</name>
- <value>3</value>
- </property>
- <property>
- <name>dfs.name.dir</name>
- <value>/usr/local/hadoop/namenode/</value>
- </property>
- <property>
- <name>hadoop.tmp.dir</name>
- <value>/usr/local/hadoop/tmp/</value>
- </property>
- </configuration>
[root@ www.linuxidc.com conf]# vi mapred-site.xml
- <configuration>
- <property>
- <name>mapred.job.tracker</name>
- <value>hadoop1:9001</value>
- </property>
- <property>
- <name>mapred.tasktracker.map.tasks.maximum</name>
- <value>4</value>
- </property>
- <property>
- <name>mapred.tasktracker.reduce.tasks.maximum</name>
- <value>4</value>
- </property>
- </configuration>
datanode配置 (只需修改hdfs-site.xml,mapred-site.xml 和core-site.xml跟NameNode一样 )
[hadoop@hadoop2 ~]$ vi hdfs-site.xml
- <configuration>
- <property>
- <name>dfs.replication</name>
- <value>3</value>
- </property>
- <property>
- <name>dfs.data.dir</name>
- <value>/home/hadoop/data</value>
- </property>
- <property>
- <name>hadoop.tmp.dir</name>
- <value>/usr/local/hadoop/tmp/</value>
- </property>
- </configuration>
[hadoop@hadoop1 conf]$ vi masters
hadoop1
[hadoop@hadoop1 conf]$ vi slaves
hadoop2
hadoop3
hadoop4
[hadoop@hadoop1 ~]$ start-all.sh
[hadoop@hadoop1 ~]$ stop-all.sh
相关问答
更多-
在docker中搭建hadoop集群有什么好方法配置ip[2024-01-02]
Docker最核心的特性之一,就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭 建多节点 Hadoop集群的详细步骤。作者在发现目前的Hadoop on Docker项目所存在的问题之后,开发了接近最小化的Hadoop镜像,... -
hadoop集群搭建好了,接下来做什么[2022-06-17]
能做的太多了吧?这还愁方向?你可以看看机器学习的算法,然后用MapReduce实现。 -
搭建一个hadoop集群 多少钱[2022-01-12]
看用途了 如果是自己学习用,一台配置较好的PC就能搞定,虚拟3个节点就能搭建一个完全分布式的Hadoop集群。 如果是企业公司用,就看具体的需求了,因为Hadoop标榜的就是可以采用廉价的PC,所以花费也不会太高,落实到单个节点上,普通的服务器完全能胜任,不过主节点和备份主节点的机器建议买好点。 -
求教搭建hadoop集群,在配置ssh时遇到的一个问题,非常感谢![2022-04-22]
如果是端口的问题,你去查一下怎么允许端口就行了。。 -
SQL Server可以搭建Hadoop集群么[2023-10-25]
完全不是一回事。 Hadoop是基于Linux集群的大数据存储、处理一体化框架,其中包含很多子模块。 而SQL Server是基于Windows操作系统的关系型数据库管理系统。 二者处理的数据根本就不是同一类。更谈不上在SQL Server上搭建Hadoop。 -
想要搭建hadoop集群,想问一下应该配备什么样的硬件设备,顺便给出每个硬件设备的大概价格。[2023-09-12]
几台PC、一台交换机。根据你要搭建的集群各方面的性能选择配置,再决定价格。 -
搭建hadoop集群为什么要设置SSH无密码登录?[2022-12-24]
Hadoop集群启动之后,namenode是通过SSH来启动和停止各个节点上的各种守护进程的,所以在节点之间执行指令的时候不能有密码 -
Hadoop与Spark的关系,Spark集群必须依赖Hadoop吗?[2022-05-30]
必须在hadoop集群上,它的数据来源是HDFS,本质上是yarn上的一个计算框架,像MR一样。 -
hadoop 集群搭建[2021-09-06]
在hadoop里找hadoop-***-core.jar -
SQL Server可以搭建Hadoop集群么[2023-09-09]
完全不是一回事。 Hadoop是基于Linux集群的大数据存储、处理一体化框架,其中包含很多子模块。 而SQL Server是基于Windows操作系统的关系型数据库管理系统。 二者处理的数据根本就不是同一类。更谈不上在SQL Server上搭建Hadoop。