知识点
相关文章
更多最近更新
更多Hadoop分布式时远程Datanode无法启动的解决
2019-03-28 14:02|来源: 网络
问题的基本现象：
在测试 Hadoop的分布式环境搭建时，在namenode启动时信息如下：
从上述信息可见namenode中的进程信息正常
在datanode查看的信息如下：
从上述信息可见datanode中的进程就不正常了，明显少了DataNode
解决办法如下：
先检查conf/masters 和conf/slaves文件，确保配置没错。
然后把所有节点的hadoop.tmp.dir指定的文件夹下的内容全部删掉
重新在master设备上执行启动程序：
再在datanode查看的信息就正常了如下：
www.linuxidc.com@linuxidc-VirtualBox:~/hadoop$ jps
16467 Jps
16289 DataNode
16429 TaskTracker
在测试 Hadoop的分布式环境搭建时，在namenode启动时信息如下：
引用
[www.linuxidc.com@linuxidc hadoop]$
bin/start-all.sh
starting namenode, logging to /home/linuxidc/hadoop/bin/../logs/hadoop-linuxidc-namenode-shnap.out
192.168.8.148: starting datanode, logging to /home/linuxidc/hadoop/bin/../logs/hadoop-linuxidc-datanode-linuxidc-VirtualBox.out
192.168.8.150: starting secondarynamenode, logging to /home/linuxidc/hadoop/bin/../logs/hadoop-linuxidc-secondarynamenode-shnap.out
starting jobtracker, logging to /home/linuxidc/hadoop/bin/../logs/hadoop-linuxidc-jobtracker-shnap.out
192.168.8.148: starting tasktracker, logging to /home/linuxidc/hadoop/bin/../logs/hadoop-linuxidc-tasktracker-linuxidc-VirtualBox.out
[www.linuxidc.com@linuxidc hadoop]$ jps
30045 JobTracker
29973 SecondaryNameNode
29813 NameNode
30136 Jps
starting namenode, logging to /home/linuxidc/hadoop/bin/../logs/hadoop-linuxidc-namenode-shnap.out
192.168.8.148: starting datanode, logging to /home/linuxidc/hadoop/bin/../logs/hadoop-linuxidc-datanode-linuxidc-VirtualBox.out
192.168.8.150: starting secondarynamenode, logging to /home/linuxidc/hadoop/bin/../logs/hadoop-linuxidc-secondarynamenode-shnap.out
starting jobtracker, logging to /home/linuxidc/hadoop/bin/../logs/hadoop-linuxidc-jobtracker-shnap.out
192.168.8.148: starting tasktracker, logging to /home/linuxidc/hadoop/bin/../logs/hadoop-linuxidc-tasktracker-linuxidc-VirtualBox.out
[www.linuxidc.com@linuxidc hadoop]$ jps
30045 JobTracker
29973 SecondaryNameNode
29813 NameNode
30136 Jps
从上述信息可见namenode中的进程信息正常
在datanode查看的信息如下：
引用
www.linuxidc.com@linuxidc-VirtualBox:~/hadoop$ jps
15934 TaskTracker
15978 Jps
15934 TaskTracker
15978 Jps
从上述信息可见datanode中的进程就不正常了，明显少了DataNode
解决办法如下：
先检查conf/masters 和conf/slaves文件，确保配置没错。
然后把所有节点的hadoop.tmp.dir指定的文件夹下的内容全部删掉
重新在master设备上执行启动程序：
$ bin/hadoop namenode -format $ bin/start-all.sh
再在datanode查看的信息就正常了如下：
引用
www.linuxidc.com@linuxidc-VirtualBox:~/hadoop$ jps
16467 Jps
16289 DataNode
16429 TaskTracker
相关问答
更多-
hadoop搭建完全分布式完成，可是不会用[2023-08-27]
1、能搭好环境说明水平还不错。 2、下边应该分以下几步走： 一，依据示例程序，自己手写wordcount之类的示例程序，以此充分了解m/r和hdfs的简单原理。 二，针对某些知识点，如hadoop应用场景、hadoop的简单应用等，去百度一下搞定，这样的问题最关键、最需要做的。 三，深入阅读hadoop的源码，把框架的数据流或说工作流搞个大致清楚。 四，试着用hadoop解决一些实际问题和项目应用。 参考下吧。 -
关于分布式Hadoop在WINDOWS上操作问题[2023-11-29]
若在windows的Eclipse工程中直接启动mapreduc程序，需要先把hadoop集群的配置目录下的xml都拷贝到src目录下，让程序自动读取集群的地址后去进行分布式运行(您也可以自己写java代码去设置job的configuration属性)。 若不拷贝，工程中bin目录没有完整的xml配置文件，则windows执行的mapreduce程序全部通过本机的jvm执行，作业名也是带有“local"字眼的作业，如 job_local2062122004_0001。 这不是真正的分布式运行mapred ... -
完全分布式Hadoop集群namenode和datanode节点正常启动，为什么hdfs不正常[2022-05-22]
bin/hdfs fs -mkdir input -
hadoop搭建完全分布式完成，可是不会用[2022-04-01]
搭建的文本，很久了，现在更新的最新版本搭建更加简单，建议你去看看黑马里边的教程，免费的 -
在cygwin中搭建hadoop，，建立伪分布式，关于datanode启动的小问题[2022-04-28]
ID不一致，你后来肯定是把namenode 格式化过了，但是datanode上的id没有变 看看namenode 和datanode 中/hadoop/dfs/data/current/目录下面的 VERSION文件，里面的namespaceID是否一致，不一致就改一致 -
在 /usr/local/hadoop/ 下面启动，找到是/opt/Hadoop/下面的hadoop安装包，是不是HADOOP_HOME环境变量配置的有问题。 可以到海牛部落交流，那里有好多学习hadoop的朋友
-
hadoop配置了集群，但启动仍然是伪分布式下的启动状态[2022-08-22]
你可以输入JPS查看一下进程 一般你的master上是namenode secondarynamenode 和jobtracker三个进程 你的slaves上 有各自的datanode 和tasktracker两个进程 你看看是不是有各自进程都启动起来了 启动起来了就是分布式 如果只有一台机子有进程 那你就重新把那些配置文件再设置一下 -
hadoop 集群 和 hadoop 分布式 怎么理解啊[2022-02-07]
hadoop集群指的是一群机器在一起提供一个hadoop的集群的服务。 hadoop分布式指的是hadoop支持任务分布式运行，因为有hadoop集群提供服务，所以hadoop将任务分发到集群的多台机器运行，所以叫做分布式。 一个是服务器架构，一个是任务运行架构。 -
修改/etc/hosts以包含主机名环回映射： 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 127.0.1.1 is-joshbloom-hadoop ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 您的问题是您的机器不知道如何解析主机名is-joshbloom-hadoop到特定 ...
-
我终于找到了问题并纠正了它。 它位于namenodes的hdfs-site.xml配置文件中。 你可以在hadoop安装库中找到它：在我的情况下它位于〜/ hadoop-2.7.2 / etc / hadoop / 此外，标准配置还要确保dfs.name.dir属性引用每个namenode的元数据库的位置。 就我而言，对于所有的名称节点，我为此目的创建了/ hdfs / name目录 ，并具有适当的所有权（专门为使用hadoop而创建的用户） 所以你必须在你群集的所有名称节点的hdfs-site.xml中添 ...