知识点
相关文章
更多最近更新
更多Hadoop集群停止数据节点(datanode)
2019-03-28 14:05|来源: 网络
一、停止数据节点的方法:
向名称节点通知希望停止的节点,使其能在数据节点关闭之前,将数据块复制到其他数据节点中。
二、操作步骤:
1、必须先确认集群是在运行中。并且已经退出的安全模式。安全模式状态的查看:
-bash-3.2$ ./bin/Hadoop dfsadmin -safemode get
Safe mode is OFF
2、首先建立一个slaves.exclude文件(此文件名可随机取).它是一个文本, 里面每行就是想要停掉的主机名或IP地址.这里slaves.exclude应放在 $HADOOP_HOME目录下。
文件内容可如下:
10.12.3.129
这样就表明要把这1台机器给停了.
3、在名称节点(master)上,配置conf/mapred-site.xml文件,www.linuxidc.com增加以下配置项:
<property>
<name>dfs.hosts.exclude</name>
<value>slaves.exclude</value>
</property>
<property>
<name>mapred.hosts.exclude</name>
<value>slaves.exclude</value>
</property>
4、在名称节点上,运行以下命令,更新结点以及hadoop配置:
-bash-3.2$ ./bin/hadoop dfsadmin -refreshNodes
5、状态查看:
1)可以通过 bin/hadoop dfsadmin -report 查看更新信息,内容如下:
Name: 10.12.3.129:50010
Decommission Status : Decommission in progress
Configured Capacity: 3047210987520 (2.77 TB)
DFS Used: 9215509326 (8.58 GB)
Non DFS Used: 162038434994 (150.91 GB)
DFS Remaining: 2875957043200(2.62 TB)
DFS Used%: 0.3%
DFS Remaining%: 94.38%
Last contact: Thu Nov 03 14:55:11 CST 2011
2)可以通过HADOOP WEB(http://masterIP:50070/)查看更新信息www.linuxidc.com;
节点状态有以下同种表示方式:
Normal:正常;
Decommission In Progress:撤消中;
Decommission:已撤消;
3)撤消成功后的节点信息如下:
Name: 10.12.3.129:50010
Decommission Status : Decommissioned
Configured Capacity: 0 (0 KB)
DFS Used: 0 (0 KB)
Non DFS Used: 0 (0 KB)
DFS Remaining: 0(0 KB)
DFS Used%: 100%
DFS Remaining%: 0%
Last contact: Thu Jan 01 08:00:00 CST 1970
相关问答
更多-
hadoop 集群已经启动但是web上显示datanode节点没有[2021-10-22]
1、首先你要确定不用ha的时候你的hadoop集群是正常的,不然找错误的方向就偏离了 2、如果都正常,配置ha 需要zookeeper,先要看看是不是zookeeper没有配置好的问题 3、如果都正常,在hadoop安装目录执行sbin/hadoop-daemon.sh start zkfc -
日志文件通常在$HADOOP_HOME/logs , $HADOOP_HOME是你的hadoop安装目录。 您可以查看这两个日志文件: 您的namenode运行的节点中的hadoop-USERNAME-namenode-HOSTNAME.log hadoop-USERNAME-datanode-HOSTNAME.log ,它位于您启动新添加的datanode的节点中。 USERNAME和HOSTNAME是用于运行hadoop的用户名,以及节点的主机名。 The log files are usually i ...
-
hadoop Datanode关闭(hadoop Datanode shutting down)[2022-12-17]
datanode1的namespaceID与当前的namenode不匹配。也许你从另一个集群中复制了/ usr / local / hadoop / tmp / dfs / data目录。如果datanode1的数据不相关,你可以删除/ usr / local / hadoop datanode1的/ tmp / dfs / * the namespaceID of datanode1 do not match the current namenode's.Maybe you copied the /usr ... -
好吧,我设法找出问题,并找到了修复。 问题: 我的奴隶节点没有与主人通信。 所以,我使用以下命令检查了我的机器上的防火墙设置(Ubuntu) sudo ufw status verbose 命令的输出 Status: active Logging: on (low) Default: deny (incoming), allow (outgoing), disabled (routed) New profiles: skip 解: 所以,我的机器拒绝任何传入的请求。 所以,我禁用了我的防火墙来验证这个假 ...
-
您的配置的属性名称中存在拼写错误。 缺少'a':fs.defult.name(vs fs.default.name)。 There is a typo in the property name of your configuration. A 'a' is missing : fs.defult.name (vs fs.default.name).
-
如何根据hadoop中的特定条件在一个datanode上存储数据?(How to store data on one datanode based on specific criteria in hadoop?)[2021-09-24]
在datanode级别不可能。 对于单个文件,您可以通过将块大小设置为大于文件大小和复制因子为1来确保将其推入一台计算机。请注意,它仅适用于一个文件。 您必须将块大小重置为默认值,否则您将最终使用新块大小推送hdfs中的所有文件。 这不适用于多个文件,即一个月内的所有文件都属于一个datanode。 因为如果您使用上述想法,您将在一台计算机中存储一个文件(一天),但是月份的第二天数据可能会放在不同的数据节点下。 即使我们找到一个工作来将同一个月的多天文件放在同一个数据节点下,它也会在hadoop负载分配后最 ... -
我相信在群集中复制因子为2,如果您停用一个数据节点,那么hadoop将识别为一个数据节点的崩溃,并将继续使用数据节点。 但是将来如果你将该节点放回集群中,hadoop将开始将文件复制到该节点。 所以你可以在集群中只有一个节点的复制因子为2,它不会以任何方式妨碍hadoop的工作。 I believe with replication factor of 2 in a cluster, if you decommissioned one data node then hadoop will identify ...
-
如何将hadoop节点设置为tasktracker而不是datanode(how to setup a hadoop node to be a tasktracker but not a datanode)[2023-03-23]
您必须为namenode设置主机排除文件。 在core-site.xml中进行此编辑:dfs.hosts.exclude YOUR_PATH_TO_THE_EXCLUDE_FILE -
我终于找到了问题并纠正了它。 它位于namenodes的hdfs-site.xml配置文件中。 你可以在hadoop安装库中找到它:在我的情况下它位于〜/ hadoop-2.7.2 / etc / hadoop / 此外,标准配置还要确保dfs.name.dir属性引用每个namenode的元数据库的位置。 就我而言,对于所有的名称节点,我为此目的创建了/ hdfs / name目录 ,并具有适当的所有权(专门为使用hadoop而创建的用户) 所以你必须在你群集的所有名称节点的hdfs-site.xml中添 ...
-
由于您只有2个节点clsuter,所有块都将存储在那里。 一般来说,我不这么认为你可以很容易地找到datanode上存在哪些块。 顺便提一下这是什么用例 Since you have only 2 node clsuter all the blocks will be stored there. In general I dont think so that you can find easily which blocks are present on datanode. What is the use c ...