Hadoop版本问题

2019-03-28 14:06|来源: 网络

通过yum方式动态添加新的datanode,启动从机器datanode时,会报如下错误:

HadoopFATALorg.apache.hadoop.hdfs.server.datanode.DataNode: Incompatible build versions:namenode BV = ; datanode BV = 911707

这是由于master和slave不一致造成的,这时可以把更新namenode和datanode来解决:

master上执行:hadoop namenode -upgrade

slave上执行:hadoop datanode -upgrade

问题总结:进行更新时需要把整个环境停掉,否则会报数据文件被block的异常,因为hadoop,hbase更新非常快,为了防止每次yum方式加载新的节点时都要进行整个环境的停止,可以把yum版本在本地建立安装环境,通过本地进行yum安装

相关问答

更多
  • 你1.7的话,貌似必须用1.04以上的,1.04的还不行
  • 目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称CDH)、Hortonworks版本(Hortonworks Data Platform,简称“HDP”),对于国内而言,绝大多数选择CDH版本,CDH和Apache版本主要区别如下:   (1) CDH对Hadoop版本的划分非常清晰,只有两个系列的版本 ...
  • 1安装和配置Cygwin 在Windows下通过安装Cygwin模拟Linux环境,然后再安装Hadoop,是一种简单方便的方式,为Hadoop准备的模拟Linux环境安装过程如下: 1.1下载安装文件 我这里的系统是window 7所以下载的是setup-x86.exe 1.2安装Cygwin 刚刚下载的文件是模拟Linux系统所依赖的软件包下载和管理工具,以后想要在模拟Linux环境中安装或更新软件都需要通过这个工具来完成,下面我们就先运行起来这个工具如下: 左键双击setup-x86.exe文件运行安 ...
  • Hadoop 2对于HDFS没有太多改动,把所有namenode和datanode备份应该就可以 我记得网上有恢复的教程
  • 随着越来越多的企业瞄准Hadoop的能力,新的产品也把目标定在易于与Hadoop集成上。Progress DataDirect的针对Hadoop Hive的Connect XE for ODBC驱动就是一个例子。它自夸对多个Hadoop的不同版本具有可扩展的连接性。
  • hadoop是用Java写的, 2005年12月-- Nutch移植到新的框架,Hadoop在20个节点上稳定运行。 2004年-- 最初的版本(称为HDFS和MapReduce)由Doug Cutting和Mike Cafarella开始实施。 2004年9月30日18:00PM,J2SE1.5发布,成为Java语言发展史上的又一里程碑。为了表示该版本的重要性,J2SE1.5更名为Java SE 5.0    2005年6月,JavaOne大会召开,SUN公司公开Java SE 6。 也就是说6.0及以上 ...
  • 将下载的hadoop-eclipse-plugin-2.2.0.jar文件放到Eclipse的dropins目录下,重启Eclipse即可看到该插件已生效。
  • 下载最新的稳定版。 1.0.3 或者我个人推荐cdh4,cloudera的hadoop版本。 http://blog.cloudera.com/blog/2012/02/introducing-cdh4/ RHive does not work with YARN, then any release BEFORE YARN is good. I tested with Hadoop 0.20.205.0, it worked fine!
  • 回答你的问题: 查看Hbase-Hadoop兼容性链接 。 hbase-0.98.9应该支持hadoop-2.6.0。 你有两个选择 1个主节点和3个从节点。 (既然你只有4个节点,这个配置就足够了) 如果你想启用HA,你可以选择2个主节点和2个从节点。 Answering your questions : See the Hbase-Hadoop compatibility link . hbase-0.98.9 should support hadoop-2.6.0. You have two opti ...
  • HDFS无法进行版本控制。 相反,您可以使用Amazon S3 ,它提供版本控制并且还与Hadoop 兼容 。 Versioning is not possible with HDFS. Instead you can use Amazon S3, which provides Versioning and is also compatible with Hadoop.