知识点
相关文章
更多最近更新
更多SecondaryNamenode配置与NameNode故障恢复
2019-03-28 13:20|来源: 网络
*注:本文基于0.20.2配置测试,0.21以后已改成Checkpoint Node和Backup Node
一、配置
1. 在masters文件中添加 Secondary节点的主机名。
*注:masters文件用于指定secondary的主机而不是namenode,slaves用于指定datanode和tasktracker,
namenode由core-site.xml fs.default.name指定,jobtracker由mapred-site.xml mapred.job.tracker指定
2. 修改hdfs-site.xml文件
<property>
<name>dfs.http.address</name>
<value>${your-namenode}:50070</value>
<description>Secondary get fsimage and edits via dfs.http.address</description>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>${your-secondarynamenode}:50090</value>
<description>NameNode get the newest fsimage via dfs.secondary.http.address</description>
</property>
*注:
- 实际上dfs.http.address只在secondary设置,dfs.secondary.http.address只在namenode上设置即可,为了便于管理,集群所有机器同样配置
- 采用默认端口(namenode:50070,secondary:50090)时可以省略该配置
2. 修改core-site.xml文件
<property>
<name>fs.checkpoint.period</name>
<value>3600</value>
<description>The number of seconds between two periodic checkpoints.</description>
</property>
<property>
<name>fs.checkpoint.size</name>
<value>67108864</value>
<description>The size of the current edit log (in bytes) that triggers a periodic checkpoint even if the fs.checkpoint.period hasn't expired. </description>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>${Hadoop.tmp.dir}/dfs/namesecondary</value>
<description>Determines where on the local filesystem the DFS secondary namenode should store the temporary images to merge.If this is a comma-delimited list of directories then the image is replicated in all of the directories for redundancy.</description>
</property>
*注:该配置在secondary设置即可,为了便于管理,集群所有机器同样配置
3. 重启hdfs,检查是否正常启动
(*注:这一步也可以不重启hdfs,在secondary上直接 sh $HADOOP_HOME/bin/hadoop-daemon.sh start secondarynamenode 启动secondaryNamenode)
(1)重启
sh $HADOOP_HOME/bin/stop-dfs.sh
sh $HADOOP_HOME/bin/start-dfs.sh
(2)检查uri
http://namenode:50070/ #检查namenode
http://sencondnamenode:50090/ #检查secondary
(3)检查目录
检查dfs.name.dir namenode:/data1/hadoop/name
current
image
previous.checkpoint
in_use.lock #主要看时候有这个文件,文件时间戳表示namenode启动时间
检查fs.checkpoint.dir secondary:${hadoop.tmp.dir}/dfs/namesecondary
current
image
in_use.lock #主要看时候有这个文件,文件时间戳表示secondnamenode启动时间
(4) 检查checkpoint是否正常
为便于测试,调整参数fs.checkpoint.period=60,fs.checkpoint.size=10240
对hdfs做一些文件增删操作,看${dfs.name.dir}/current/edits 和 ${fs.checkpoint.dir}/current/edits的变化
相关问答
更多-
hadoop 怎么利用 secondarynamenode 恢复[2021-10-03]
先用cd进入hadoop的bin目录下输入hadoop namenode -format格式化namenode启动hadoop所有进程,输入start-all.sh:验证hadoop有没有起来,输入jps -
在 /usr/local/hadoop/ 下面启动,找到是/opt/Hadoop/下面的hadoop安装包,是不是HADOOP_HOME环境变量配置的有问题。 可以到海牛部落交流,那里有好多学习hadoop的朋友
-
如何利用secondarynamenode上面的备份的数据,恢复namenode[2022-01-11]
恢复步骤: (0) 可选,当namenode主机名发生变化时(为了不影响应用,最好不好发生变化),需修改: [core-site.xml] fs.default.name = 新namenode [hdfs-site.xml] dfs.http.address = 新namenode [mapred-site.xml]mapred.job.tracker = 新jobtracker, 如果jobtracker与namenode在同一台机器上 (1) 确保新namenode ${dfs.name.dir}目录 ... -
对于未来的读者,从这里 : 在以下情况下datanode被认为是陈旧的: dfs.namenode.stale.datanode.interval <最后一个联系人<(2 * dfs.namenode.heartbeat.recheck-interval) 在NameNode UI Datanodes选项卡中,由于实时数据节点(也可在JMX输出中提供)中的最后一次接触具有较大的值,所以过时的数据节点会很突出。 当数据节点陈旧时,它将被赋予读写最低优先级。 使用默认值时,namenode将在心跳缺失30秒时将 ...
-
是的,JobTracker是MRv1中的单点故障。 如果JobTracker发生故障,所有正在运行的作业都将暂停( http://wiki.apache.org/hadoop/JobTracker )。 在YARN中,资源管理器不是单点故障。 如果您需要MRv1,您可以使用MapR分发,它提供JobTracker的高可用性( http://www.mapr.com/resources/videos/demo-hadoop-jobtracker-failing-and-recovering-mapr-clus ...
-
当我删除[hadoop临时目录] / dfs / namesecondary目录时,我遇到了同样的错误。 对我来说[hadoop临时目录]是core-site.xml中hadoop.tmp.dir的值 I had the same error and it went when I deleted the [hadoop temporary directory] /dfs/namesecondary directory. For me [hadoop temporary directory] is the v ...
-
HADOOP_SECONDARYNAMENODE_OPTS用于为辅助namenode java进程设置命令行属性。 如下 HADOOP_SECONDARYNAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_SECONDARYNAMENODE_OPTS" 要启动辅助名称节点,您需要使用namenode详细信息维护core-site.xml,然后启动辅助名称节点。 如果您仍然遇到问题,请更新日志和配置文件夹 HADOOP_SECONDARYNAMENOD ...
-
这取决于您所讨论的Hadoop版本。 在Hadoop 2之前, Namenode是一个单点故障,所以如果它失败意味着你的集群变得无法使用。 在这种情况下,即使SecondaryNameNode也没有帮助,因为它仅用于检查点,而不是用作NameNode的备份。 当NameNode失败时,像管理员这样的人必须手动重启NameNode 。 但是从Hadoop 2开始,你有更好的方法来处理NameNode失败。 您可以并排运行2个冗余NameNodes ,这样,如果其中一个Namenodes失败,群集将快速故障转移 ...
-
这里有两件事要考虑, 1- Recovery through SecondaryNameNode 2- Recovery through redundant NameNode 在hadoop-1.x我们在SecondaryNameNode上有一个概念,它包含NameNode元数据的副本。 如果您的NameNode出现故障,您可以使用SecondaryNameNode存储的元数据副本,并在NameNode再次启动后使用它来恢复您的工作。 使用hadoop-2.x(HA)您可以拥有多个NameNode。 如果 ...
-
在core-site.xml中,我将“ fs.default.name ”更改为“ fs.defaultFS ”,但它在某些行号上显示错误。 我在编辑器中浏览了hadoop配置文件,我发现在所有4个.xml文件(core-site,mapred-site,yarn)中我使用过两次“
... ”标签-site,hdfs-site)(因为我刚刚从在线来源粘贴了复制品) 删除后我运行命令 hadoop namenode -format start-df ...