知识点
相关文章
更多最近更新
更多Hadoop Incompatible namespaceIDs
2019-03-28 13:48|来源: 网络
Hadoop Incompatible namespaceIDs
当报这个错的时候，也没有认真去想，就直接google了，其实简单的想一下应该可以考虑到这个原因的。
当我们format namenode的时候，会在namenode数据文件夹中保存一个VERSION文件，其中包含着一个namespaceID，标识了所格式化的namenode的版本，如果我们频繁的格式化namenode（像我这样的），那么datanode中保存的VERSION文件只是你第一次格式化时保存的namenode的ID，因此就会造成datanode与namenode之间的id不一致。
解决的办法很简单，两个方案
1. 所有的datanode删掉，重新建（很麻烦，但看你了）
2. 登上datanode，把位于{dfs.data.dir}/current/VERSION中的namespaceID改为最新的版本即可
更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13
相关问答
更多-
关于hadoop的问题，进来看看呀[2023-07-31]
java是执行文件，不是目录 java path默认是java_home/bin/目录 这个目录底下应该 java和javac等文件 -
数据节点namespaceID问题(data node namespaceID issue)[2022-11-05]
如果单独格式化名称节点，通常会发生此错误。 如果格式化名称节点，则清除名称节点中的元数据信息，并使用新的名称空间标识创建新的元数据文件。 所以，这个id与数据节点中的名称空间id不匹配。 解决方案是 在/ home / test / work / hadoopdata / dfs / data / current / VERSION中编辑数据节点的名称空间id，与/ home / test / work / hadoopdata / dfs / name / current / VERSION中名称节点的名 ... -
最近的hadoop tarball似乎只带有64位库。 你可以自己编译，尽管我自己没有测试过。 您必须下载hadoop的源tarball并安装以下软件包： GCC（或其他C编译器） GNU Autotools（autoconf，automake，libtool） zlib开发包 openssl开发包 行家 安装完成后，您可以使用源tarball中包含的标准hadoop pom.xml文件来编译本机库： $ mvn package -Pdist,native -DskipTests -Dtar 这些库可以在 ...
-
hadoop Datanode关闭(hadoop Datanode shutting down)[2022-12-17]
datanode1的namespaceID与当前的namenode不匹配。也许你从另一个集群中复制了/ usr / local / hadoop / tmp / dfs / data目录。如果datanode1的数据不相关，你可以删除/ usr / local / hadoop datanode1的/ tmp / dfs / * the namespaceID of datanode1 do not match the current namenode's.Maybe you copied the /usr ... -
datanodes和namenode的ClusterID应该匹配，那么只有Datanode可以有效地与namenode进行通信。 如果您使用namenode格式，将为namenodes分配新的ClusterID，那么Datanode中的ClusterID将不匹配。 您可以在/ home / pushuser1 / hadoop / tmp / dfs / data / current /（datanode目录）以及namenode目录中找到VERSION文件（/ home / pushuser1 / had ...
-
Datanode无法启动：不兼容的clusterID Hadoop(Datanode is not starting: incompatible clusterID Hadoop)[2022-01-03]
每次启动服务时，您必须格式化namenode。 Namenode应该只格式化一次。 解决方案是删除临时文件夹，然后格式化namenode并启动服务。 下次无论何时启动服务，都不要格式化namenode bcz，此步骤必须只执行一次。 You must be formatting namenode everytime when you are starting service. Namenode should be formatted only once. The solution is to delete ... -
Hadoop-3.0.0如何与旧版Hive，Pig，Sqoop和Spark兼容 从@JacekLaskowski那里得到的回答是，hadoop 3不支持spark。据我所知，在该领域最近6个月没有任何变化。 How is Hadoop-3.0.0 's compatibility with older versions of Hive, Pig, Sqoop and Spark there was answer from @JacekLaskowski that spark is not supported ...
-
我曾经发生过几次这种事情。 如果重新启动数据节点不起作用，请执行以下操作： 重启Hadoop 转到/ app / hadoop / tmp / dfs / name / current 打开版本（即通过vim VERSION ） 记录namespaceID 转到/ app / hadoop / tmp / dfs / data / current 打开版本（即通过vim VERSION ） 将namespaceID替换为您在步骤4中记录的namespaceID。 这应该解决这个问题。 I've had th ...
-
问题是属性名称为dfs.datanode.data.dir ，它的拼写错误为dfs.dataode.data.dir 。 这使得属性无法被识别，因此${hadoop.tmp.dir}/hadoop-${USER}/dfs/data的默认位置被用作数据目录。 hadoop.tmp.dir默认是/tmp ，每次重启时都会删除该目录的内容，并强制datanode在启动时重新创建该文件夹。 因此不兼容的clusterID 。 在格式化namenode并启动服务之前，在hdfs-site.xml编辑此属性名称。 Th ...
-
更新/ etc / hosts 127.0.0.1 ubuntu 和/ etc / hostname ubuntu 在此之后重新启动电脑。 Update /etc/hosts 127.0.0.1 ubuntu And /etc/hostname ubuntu Restart your pc after this.