Hadoop,Hbase,Zookeeper在虚拟机单节点中的整合

2019-03-28 14:00|来源: 网络

整合 Hadoop,Hbase,Zookeeper时遇到不少问题,经过一番苦战后终于整合成功,现将整合中遇到的一些问题整理一下。

前置说明:
版本:
JDK: 1.6.*
Hadoop: 0.20.2
Hbase: 0.90.4
Zookkeeper: 3.4.3
CentOS: CentOS release 5.3

节点数: 1 (虚拟机)

安装配置:
一、安装JDK

二、配置host
     修改配置 /etc/hosts 如下:
         192.168.0.23   hadoopName
     此hostname为hadoop、Hbase、Zookeeper配置文件中共同使用。这一步非常重要。也会涉及到windows中eclipse runonhadoop插件的运行。

二、安装Hadoop
      Hadoop安装比较容易,请参考《Hadoop权威指南》 http://www.linuxidc.com/Linux/2011-11/47044.htm、《Hadoop实战》 http://www.linuxidc.com/Linux/2012-01/52481.htm

三、安装Zookeeper
      运行模式为: 集群伪分布模式
      1、解压Zookeeper,将$ZK_INSTALL/bin加入环境变量。
      2、拷贝$ZK_INSTALL/conf下的zoo.example.cfg,分别复制为zoo1.cfg、zoo2.cfg、zoo3.cfg
      3、配置zoo*.cfg:
      zoo1.cfg
  1. # The number of milliseconds of each tick   
  2. tickTime=2000  
  3. # The number of ticks that the initial    
  4. # synchronization phase can take   
  5. initLimit=10  
  6. # The number of ticks that can pass between    
  7. # sending a request and getting an acknowledgement   
  8. syncLimit=5  
  9. # the directory where the snapshot is stored.   
  10. dataDir=/usr/local/zookeeper-3.4.3/snapshot/d_1   
  11. # the port at which the clients will connect   
  12. clientPort=2181  
  13. #the location of the log file   
  14. dataLogDir=/usr/local/zookeeper-3.4.3/logs   
  15. server.[color=red]1[/color]=hadoopName:2887:3887  
  16. server.[color=red]2[/color]=hadoopName:2888:3888  
  17. server.[color=red]3[/color]=hadoopName:2889:3889  

相关问答

更多
  • 虚拟机软件可以在一台电脑上模拟出来若干台PC,每台PC可以运行单独的操作系统而互不干扰,可以实现一台电脑“同时”运行几个操作系统,还可以将这几个操作系统连成一个网络。 比如上图中,是在一台电脑上安装了Win2000 server,再在Win2000 server上安装虚拟机软件VMWare,利用VMWare模拟出来3台PC,在这3台PC上分别运行RedHat7.2、Win98和Solaris 8 for x86操作系统。包括Win2000在内,这4个操作系统同时在一台电脑上运行,互不干扰,并且同在一个局域网 ...
  • 你先把linux光盘放进光驱,然后打开虚拟机,新建一个虚拟机,选中linux就行了,然后运行,就自动开始装linux了,就是和在电脑上装linux一样装,只不过它是虚拟机,祝你成功!
  • 就通过浏览器访问啊!如果是遇到问题,可能是以下原因: 1. 检查网络看win机ping linux机是否正常2. 检查端口你开启的服务端口比如你开了http,那就是80端口或者你自定义的端口,3. 检查防火墙service iptables stop你先测试一下是不是防火墙的原因,就关了看能否用,如果不行,说明是防火墙屏蔽掉了,可以设备防火墙放行对应端口,下面具体方法: 在虚拟机的Linux下安装好Nginx服务器后,本机可以通过curl获取网页内容,而在宿主机无法访问,出现如下错误: 打开文件/etc/s ...
  • riak 华师大的吧- - 下面来简单介绍各个组件的作用: HDFS(Hadoop distribute file system)——Hadoop生态系统的基础组件Hadoop分布式文件系统。它是其他一些工具的基础HDFS的机制是将大量数据分布到计算机集群上,数据一次写入,但可以多次读取用于分析。HDFS让Hadoop可以最大化利用磁盘。 HBase—— 一个构建在HDFS之上的面向列的NoSql数据库,HBase用于对打量数据进行快速读取/写入。HBase将Zookeeper用于自身的管理,以保证其所有组 ...
  • hadoop可以配置伪分布式,只要一个linux,你这样,把IP改成不一样也行
  • 1.需要zookeeper 2.没碰到过,不过应该问题还是出在配置文件hbase-site.xml上吧,仔细配下。 3.会报错,可以查看日志
  • 它在使用不同的hbase版本后才工作。 我使用的是hbase-0.98.10.1-hadoop1-bin,它与我的hadoop 2.5.2不兼容,因此我将hbase版本更改为hbase-X.XX.XX.X-hadoop2-bin(这与hadoop 2兼容.X)并遵循Apache的安装步骤。 谢谢你们.. It Just Worked after using a different hbase version. I was using hbase-0.98.10.1-hadoop1-bin, which wa ...
  • 检查它是否在.bashrc中,如果没有,添加它们并重新启动所有hbase服务(不要忘记手动运行它们),这是通过伪分布式安装为我做的。 我的问题(也许你的问题)是Hbase没有检测到它的配置。 export HADOOP_CONF_DIR=/etc/hadoop/conf export HBASE_CONF_DIR=/etc/hbase/conf Check if this is within your .bashrc, if not, add them and restart all hbase serv ...
  • 对于独立模式,只需按照此HBase指南中提供的步骤操作: http : //hbase.apache.org/book.html#quickstart HBase具有独立模式,可以让初学者轻松上手。 在独立模式下,hbase,hdfs和zk在单个JVM进程中运行。 For standalone mode, just follow the steps provided in this HBase guide:http://hbase.apache.org/book.html#quickstart HBase ...
  • 让我们来看A是主人,B是不同系统中的奴隶。 在同一网络(相同的LAN或WLAN)下连接两个系统。 让我们假设您的A和B系统IP地址是192.168.0.150和192.168.0.151 更新/ etc / hosts,etc / hadoop / masters和etc / hadoop / slaves中的IP地址以及更新主机名 打开终端并ping其他系统,如果您正在重播,则表示您已成功连接到其他系统 通过ssh IP or hostname连接其他系统 Lets take A is master an ...