知识点
相关文章
更多最近更新
更多Hadoop 分布式 集群配置 笔记
2019-03-28 14:20|来源: 网络
终于将这个Hadoop的集群配置弄好了。参考了很多的网页，受益非浅。
SSH无密码登陆配置
首先谈一谈ssh的无密码登陆问题。
按照网上的说法，比如说A想无秘密登陆B。
那么在A上使用ssh-keygen命令产生密钥id_rsa，和id_rsa.pub。然后将id_rsa.pub拷贝到B的相应的用户的主目录下面就可以了。
cat 到 authorized_keys中。
但是简单的上面的方法，登陆时B还是会要求输入密码，可以采用chmod 644 authorized_keys 。
之后，又碰见过几次需要输入密码，我的方法是直接重复上面的步骤就可以了。
Java安装
Java的安装，到处下载Jdk，之前下载的后缀为.rpm.bin一直安装不了，最后在官网上面下载了一个后缀为.bin的自解压程序进行安装。
安装之后还需要修改/etc/profile文件。我的java是按爪功能在了/usr/lib/jvm/java-6-sun文件夹下面。
采用了一个master，三个slave。
按照网上的说法，配置hadoop中conf文件夹下来的xml文件。
core-site.xml
- <configuration>
- <property>
- <name>hadoop.tmp.dir</name>
- <value>/root/hadoop/tmp</value>
- <description>A base for other temporary directories.</description>
- </property>
- <property>
- <name>fs.default.name</name>
- <value>hdfs://master:9000</value>
- <description>
- The name of the default file system. A URI whose scheme and authority determine the FileSystem implementation.
- </description>
- </property>
- </configuration>
hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-6-sun
hdfs-site.xml
- <configuration>
- <property>
- <name>dfs.replication</name>
- <value>2</value>
- </property>
- </configuration>
- <configuration>
- <property>
- <name>mapred.job.tracker</name>
- <value>master:9001</value>
- <description>The host and port that the MapReduce job tracker runsat.</description>
- </property>
- </configuration>
相关问答
更多-
hadoop搭建完全分布式完成，可是不会用[2023-08-27]
1、能搭好环境说明水平还不错。 2、下边应该分以下几步走： 一，依据示例程序，自己手写wordcount之类的示例程序，以此充分了解m/r和hdfs的简单原理。 二，针对某些知识点，如hadoop应用场景、hadoop的简单应用等，去百度一下搞定，这样的问题最关键、最需要做的。 三，深入阅读hadoop的源码，把框架的数据流或说工作流搞个大致清楚。 四，试着用hadoop解决一些实际问题和项目应用。 参考下吧。 -
如何配置hadoop伪分布式配置[2023-08-24]
0.关闭防火墙 service iptables start;#立即开启防火墙，但是重启后失效。 service iptables stop;#立即关闭防火墙，但是重启后失效。 重启后生效 chkconfig iptables on;#开启防火墙，重启后生效 chkconfig iptables off;#关闭防火墙，重启后生效 1.配置主机名 !!!!!注意安装hadoop的集群主机名不能有下划线!!不然会找不到主机!无法启动! 配置主机名 $vi /etc/sysconfig/network $sour ... -
hadoop完全分布式安装slave怎么配置[2023-07-09]
Slave填写Master和Slave的IP地址，Master可以同时做Master和Slave -
关于分布式Hadoop在WINDOWS上操作问题[2023-11-29]
若在windows的Eclipse工程中直接启动mapreduc程序，需要先把hadoop集群的配置目录下的xml都拷贝到src目录下，让程序自动读取集群的地址后去进行分布式运行(您也可以自己写java代码去设置job的configuration属性)。 若不拷贝，工程中bin目录没有完整的xml配置文件，则windows执行的mapreduce程序全部通过本机的jvm执行，作业名也是带有“local"字眼的作业，如 job_local2062122004_0001。 这不是真正的分布式运行mapred ... -
hadoop伪分布式需要配置yarn么[2022-01-21]
Hadoop 有两个主要版本，Hadoop 1.x.y 和 Hadoop 2.x.y 系列，比较老的教材上用的可能是 0.20 这样的版本。Hadoop 2.x 版本在不断更新，本教程均可适用 如果需安装 0.20，1.2.1这样的版本，本教程也可以作为参考，主要差别在于配置项，配置请参考官网教程或其他教程。 -
在 /usr/local/hadoop/ 下面启动，找到是/opt/Hadoop/下面的hadoop安装包，是不是HADOOP_HOME环境变量配置的有问题。 可以到海牛部落交流，那里有好多学习hadoop的朋友
-
hadoop配置了集群，但启动仍然是伪分布式下的启动状态[2022-08-22]
你可以输入JPS查看一下进程 一般你的master上是namenode secondarynamenode 和jobtracker三个进程 你的slaves上 有各自的datanode 和tasktracker两个进程 你看看是不是有各自进程都启动起来了 启动起来了就是分布式 如果只有一台机子有进程 那你就重新把那些配置文件再设置一下 -
hadoop 集群 和 hadoop 分布式 怎么理解啊[2022-02-07]
hadoop集群指的是一群机器在一起提供一个hadoop的集群的服务。 hadoop分布式指的是hadoop支持任务分布式运行，因为有hadoop集群提供服务，所以hadoop将任务分发到集群的多台机器运行，所以叫做分布式。 一个是服务器架构，一个是任务运行架构。 -
我删除了/ etc / hosts中与127.0.0.1相关的所有条目并将hdfs-site.xml复制到所有节点中的$ HBASE_HOME / conf之后，问题得以解决 The problem solved after I removed all entries related to 127.0.0.1 in /etc/hosts and copied the hdfs-site.xml to $HBASE_HOME/conf in all nodes
-
是的，文件通过网络传输，通常是通过HDFS传输。 与使用HDFS进行非数据本地任务相比，它不会对网络造成任何压力。 如果文件很大，可能会出现网络拥塞，但是你已经把你的jar推送到所有这些任务跟踪器，所以只要你的文件不比你的文件大得多，你的开销就不应该是太糟糕了。 文件的复制与最终将拉动此文件的任务跟踪器的数量完全分开。 复制也将从一个节点链接到另一个节点，无论如何都是具有容错分布式文件系统的成本。 同样，网络拥塞不再是将jar推送到所有任务跟踪器的问题，假设分布式缓存中的文件与jar的大小相同。 总的来说， ...