知识点
相关文章
更多最近更新
更多Hadoop 套件匹配问题
2019-03-28 13:40|来源: 网络
因为Hadoop相关组件很多，有hadoop，hbase，hive，pig等，但没有发行套件。而每个组件的开发进度不一，一些组件还没有稳定，版本号很低，经常遇到组件之间不配套引发的莫名其妙的问题。
由于hadoop是这套系统的核心，可能需要找一个大家都兼容的版本。
目前hadoop已经出了一个1.03和2.0 alpha的版本，这是所有组件中版本最高的。但其他组件都没有跟上，为了兼容可能得花很大精力。我们以hadoop为核心，看目前2012.6.18为止，各组件应该采用什么版本，配合较好。
Hadoop：23 May, 2012: Release 2.0.0-alpha available
Hadoop：27 December, 2011: release 1.0.0 available
hbase:Release Date: 14/May/12 0.94
zookeeper：20 March, 2012: release 3.3.5 available
hive:30 April, 2012: release 0.9.0 available
pig:25 April, 2012: release 0.10.0 available
配套：
hbase 0.92 – hadoop 0.22
hbase 0.94 – hadoop 0.23
hive 0.9 – hadoop 0.20.x
pig 0.10 – hadoop 0.20.x
可见，当前hadoop周边配套组件版本落后hadoop较大。就低不就高，最好选hadoop 0.20.x版本作为测试的核心，以减少麻烦。未来再逐步往最新版本上迁移。hadoop 2.0版本将解决namenode的单点问题，并使用google protobuf来封装传递数据。
版本配套选择：
hadoop 0.20.x – hbase 0.92 – hive 0.9 – pig 0.10 – zookeeper-3.3.4 – jdk 1.7.0
相关问答
更多-
关于hadoop的问题，进来看看呀[2023-07-31]
java是执行文件，不是目录 java path默认是java_home/bin/目录 这个目录底下应该 java和javac等文件 -
我想最初数据是在本地文件系统中。 因此，一个简单的工作流可以是：从本地加载数据到hadoop文件系统（HDFS），在其上创建一个hive表，然后在hive表中加载数据。 步骤1： // put in HDFS $~ hadoop fs -put /local_path/file_pattern* /path/to/your/HDFS_directory // check files $~ hadoop fs -ls /path/to/your/HDFS_directory 第2步： CREATE EXT ...
-
你不小心设置了输出键类两次： conf.setMapOutputKeyClass(IntWritable.class); 应该成为 conf.setMapOutputValueClass(IntWritable.class); You accidentally set the output key class twice: conf.setMapOutputKeyClass(IntWritable.class); Should become conf.setMapOutputValueClass(In ...
-
Hadoop作为一个平台并不针对临时查询或分析报告。 Cognos是IBM的产品。 它只能查询它自己的Hadoop分布，这就是所谓的大分析： InfoSphere BigInsights 通过BigInsight Cognos使用Hive发布查询，最终转换为MapReduce。 您说您正在使用Sybase IQ（这不是内容存储库，这是您的查询运行的报告数据库）。 虽然我对Sybase IQ的了解不多，但我正在与Vertica合作，这也是列阵式数据库。 为了获得良好的表现，你必须调整任何可能的东西： Cogn ...
-
看起来你正在使用新的API类（mapper扩展了mapred.Mapper），但你已经使用旧的API编写了map方法（你正在使用OutputCollector和Reporter） 将映射器映射签名和reducer reduce方法更改为以下内容： public void map(LongWritable key, Text value, Context context) { .. } public void reduce(Text key, Iterable
value, Context con ... -
Spark仅适用于Hadoop 2，因此不适用于0.20.2 Spark is only available on Hadoop 2, so not available with your 0.20.2
-
Hadoop以递归方式连接文件以维护目录结构(Hadoop concatenate files recursively maintaining directory structure)[2023-11-08]
使用org.apache.hadoop.fs.FileUtil API 您可以使用以下API获取FileSystem final FileSystem fs = FileSystem.get(conf); 复制 public static boolean copy（FileSystem srcFS，Path [] srcs，FileSystem dstFS，Path dst，boolean deleteSource，boolean overwrite，Configuration conf）抛出IOExc ... -
由于您使用大写M代替小写m，因此Map()方法无法覆盖Mapper的map()方法。 因此，正在使用默认的身份映射方法，这导致用作输入的相同键和值对也用作输出。 由于您的映射器已指定extends Mapper
-
默认情况下，所有映射器都将使用TextInputFormat 。 因此，关键是一个LongWritable，其值是Text。 您的错误来自于您已将IntWritable设置为值的事实。 你的第二个映射器与第一个映射器没有什么不同，因此两个映射器的定义需要extends Mapper
安装配置单元后Hadoop（本地和主机目标不匹配）(Hadoop (local and host destination do not match) after installing hive)[2023-05-01]
原始IOException中似乎存在拼写错误' utbuntu '。 你能检查一下这是正确的主机名还是复制粘贴错误？ etc / hosts配置需要一些试验和错误才能找到Hadoop 2.2.0群集设置，但我所做的是删除主机名的所有127.0.1.1分配并将实际IP分配给机器名称并且它可以工作。 例如 192.168.1.101 ubuntu 我有一个2节点集群，所以我的/ etc / hosts for master（NameNode）看起来像： 127.0.0.1 localhost #127.0. ...