知识点
相关文章
更多最近更新
更多在Hadoop集群中添加机器和删除机器
2019-03-28 13:38|来源: 网络
无论是在Hadoop集群中添加机器和删除机器，都无需停机，整个服务不中断。
添加机器
在集群的Master机器中，修改$HADOOP_HOME/conf/slaves文件，在其中添加需要加入集群的新机器（newHost）的主机名：
newHost
hp2
然后在Master机器中执行如下命令：
$HADOOP_HOME/bin/start-all.sh
这样操作完成之后，新的机器就添加到集群中来了。
删除机器
不安全的方式
由于Hadoop集群自身具备良好的容错性，可以直接关闭相应的机器，从而达到将该机器撤除的目的。但是如果一次性操作3台以上的机器，就有可能造成部分数据丢失，所以不推荐使用这种方式进行操作。
安全的方式
在集群的Master机器中，新建一个文件：$HADOOP_HOME/conf/nn-excluded-list，在这个文件中指定需要删除的机器主机名（hp3）：
hp3
然后，修改Master机器的配置文件：$HADOOP_HOME/conf/hdfs-site.xml，添加如下内容：
<property>
<name>dfs.hosts.exclude</name>
<value>conf/nn-excluded-list</value>
</property>
最后，在Master机器中执行如下命令：
$HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes
这样操作完成之后，可以在HDFS集群中看到，hp3机器已经处于Decommission In Progress状态：
我们需要等待一定的时间，等待hp3中datanode的Decommission操作完成以后，再到hp3机器中关闭所有的Hadoop进程即可。
这样就完成了整个从集群中删除机器的操作。
相关问答
更多-
如何增加hadoop集群中的主机新的机器的dns[2021-07-12]
无论是在Hadoop集群中添加机器和删除机器，都无需停机，整个服务不中断。 本次操作之前，Hadoop的集群情况如下： HDFS的机器情况如下： MR的机器情况如下： 添加机器 在集群的Master机器中，修改$HADOOP_HOME/conf/slaves文件，在其中添加需要加入集群的新机器（hp3）的主机名： hp3 hp2 dell1 dell2 dell3 dell4 然后在Master机器中执行如下命令： $HADOOP_HOME/bin/start-all.sh 这样操作完成之后，新的机器就添加 ... -
一个Hadoop集群的机器数量最少要几个[2022-06-18]
ZooKeeper是一个独立的组件，它可以和HDFS配合使用，但没有非得部署在一起的要求，只要网络通就可以。另外，ZooKeeper建议最少安装在3个节点上，且数目为奇数。 -
hadoop集群中节点添加和删除有什么要注意[2023-12-13]
1：添加节点 A：新节点中添加账户，设置无密码登陆 B：Name节点中设置到新节点的无密码登陆 C：在Name节点slaves文件中添加新节点 D：在所有节点/etc/hosts文件中增加新节点（所有节点保持一致） E：在新节点中执行 ./bin/hadoop-daemon.sh star... -
一个Hadoop集群的机器数量最少要几个[2021-12-19]
ZooKeeper是一个独立的组件，它可以和HDFS配合使用，但没有非得部署在一起的要求，只要网络通就可以。另外，ZooKeeper建议最少安装在3个节点上，且数目为奇数。 -
hadoop集群每台机器上都要装mysql吗[2022-01-18]
第一步：将资源拷贝到assets目录 第二步：给需要注入的资源文件在url上做一个标志，当然，你也可以不做，只要你在安卓端可以判断出来即可。 -
zookeeper集群中增加机器需要重启吗[2022-04-08]
zookeeper集群中增加机器需要重启 该命令的输出列表中应该有mod_so模块。如果所有这些条件均已具备，则可以很容易地借助apxs安装你自己的DSO模块以扩展Apache服务器的功能： $ apxs -i -a -c mod_foo.c gcc -fpic -DSHARED_MODULE -I/path/to/apache/include -c mod_foo.c ld -Bshareable -o mod_foo.so mod_foo.o cp mod_foo.so /path/to/apache/ ... -
hadoop集群上百台机器 怎么安装软件[2022-11-01]
Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。 以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 -
如何从客户端Windows机器访问hadoop集群（unix）(How to access hadoop cluster (unix) from client windows machine)[2023-11-22]
可能它不是最好的解决方案，但我弄清楚了： 1）在linux机器上创建“windows”用户 2）将该用户添加到运行hadoop的用户组 3）hdfs-site.xml为dfs.permissions.supergroup添加prperty到用户组hadoop正在运行 这解决了我的问题。 我并不认为它是最好的，但并不是一个用户管理器。 Probably it is not the best solution but I figure it out: 1) created "windows" user on l ... -
avahi-daemon应该在hadoop集群机器上运行吗？(Should avahi-daemon be running on hadoop cluster machines?)[2023-07-02]
禁用它们不应该受到伤害。 它不被我所知道的任何Hadoop或Kafka协议所使用。 它用于DNS，但希望你有一些其他的DNS设置，如果你打算关闭它。 您应该尝试查找哪些主机位于尝试与群集通信的91.61.xx范围内。 It should not hurt to disable them. It's not used by any Hadoop or Kafka protocol that I know of. Its used for DNS, but hopefully you have some oth ... -
您似乎有推荐系统的标准缩放问题。 在您的情况下，您应该将分析分成多个部分。 项目项目相似度计算部分。 用户项目推荐部分使用项目 - 项目相似度值。 关键是，具有大量评级的项目之间的相似性不会发生很大变化。 而这正是代价高昂的部分。 这意味着您只能计算一次它们的相似度，并在很长一段时间后（几周，几个月？）再次进行计算。 您可以评估他们在一周，两周等后的变化情况。然后您只需要计算每天评分较少的项目的项目 - 项目相似度 - 如果他们当然有新的评级！ 评价太少是推荐引擎领域的问题。 我现在不会这样做。 因此，当您 ...