Cloudera安装Hadoop集群和相关服务

2019-03-28 12:53|来源: 网络

一.软件准备:

1.下载cloudera-manager-installer.bin(安装。。。-server),cdh4、cm(这是。。。-agent),另外还有些需要的关联软件下步添加。

2.先建本地源(详见 http://www.linuxidc.com/Linux/2013-09/90642.htm ),然后下载cloudera-manager-server的关联软件(不清楚具体需要哪些),本人是在本地安装一次server,这样需要的软件都在本地源的机器上,按步骤添加到源即可。另外把cm和cdh4也放在apache的服务目录下,作为源。

二.环境搭配hosts修改,不详述。

3.假如有5台机器,命名为server、test1、test2、。。Test4,server作为服务器server,其他4台作为主机,主机的/etc/hostname分别更改自己机器的hostname。然后再hosts文件加入如下:test1IP  test1  回车  test2IP    test2 回车 。。。。。。。。。Test4,这样环境搭配完毕。

三.Server安装

4.在server机上安装server,先把cloudera-manager-installer.bin放到机器任意目录下,赋予可执行权限。然后./cloudera-manager-installer.bin,开始安装(这里server的apt-get源已经是本地),这里会安装失败,根据提示可到日志文件查看,一般是Oraclej2.。。。。。安装失败,这里的原因是安装此软件需要你手动输入yes,电脑才给你继续安装,但是这个过程没显示,自然也不能输入yes,所以失败。根据日志,可以手动apt-get install 需要的软件名称,然后yes、yes即可,下面还会遇到同样问题,安装完即可。

5.提示成功后,在浏览器输入IP:7180,进入server管理端,表示成功

四,cdh安装:

6.用户名admin密码admin,然后添加主机(主机必须有ssh服务),继续安装。

7.然后出现主机配置需要的软件版本,选择自定义

如果需要impala、solr自行添加,这里都是无。

8.继续安装

这里安装也会提示失败,原因同样是无法输入yes,这里同样用apt-get手动安装需要的软件(软件源已经添加,这些源在cdh4或者你自己添加的本地源里面,其中cdh4与cm测点源在你前面配置的时候已经自动添加到/etc/apt/sources.list.d内,所以apt-get就可以安装),安装完成后成功。

9.

这里选择默认即可,先在主机上安装postgresql并启动成功,然后测试连接、继续主机检查

全部正确后

根据需要即可,进入一个配置目录,基本可以默认

这样本地源安装cdh就完成了,可能有些主机是badhealth,这不是安装的问题,而是机器的问题,可能是主机时间不一致、可能是空间不够。

相关阅读:

Ubuntu 12.10 上安装部署Openstack http://www.linuxidc.com/Linux/2013-08/88184.htm

Ubuntu 12.04 OpenStack Swift单节点部署手册 http://www.linuxidc.com/Linux/2013-08/88182.htm

在Ubuntu上安装OpenStack的Swift组件-installing openstack object storage http://www.linuxidc.com/Linux/2013-08/88180.htm

OpenStack Hands on lab系列 http://www.linuxidc.com/Linux/2013-08/88170.htm

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

相关问答

更多
  • cloudera manager Cloudera可以简化Hadoop的安装配置过程,自动在集群节点上安装hadoop相关组件,创建用户。 所有机器上一定要安装好Perl包。 cloudera manager free是个免费的版本,对普通的应用也够了。 安装比较简单,下载相应的.bin文件运行即可。 不过DNS要配好,如果不用DNS服务器解析每个集群主机,那么每个集群机器上面hosts文件都要准备好
  • 1、Hortonworks Hadoop区别于其他的Hadoop发行版(如Cloudera)的根本就在于,Hortonworks的产品均是百分之百开源。 2、Cloudera有免费版和企业版,企业版只有试用期。 3、apache hadoop则是原生的hadoop。 4、目前在中国流行的是apache hadoop,Cloudera CDH,当然Hortonworks也有用的 5、Apache Ambari是一个基于web的工具,用于配置、管理和监视Apache Hadoop集群,支持Hadoop HDFS ...
  • Cloudera是“还有另一个hadoop的发行版”你可以把Nexus手机中的基本Hadoop看作股票机器人,而非nexus手机中的Cloudera Hadoop作为机器人。 它基本上是一个定制版本。 Cloudera更像是即插即用版本,这意味着您可以下载VM并开始使用Hadoop。 另一方面,在Ubuntu中的Hadoop是一个让你自己动手的模式,你可以在这里建立自己的hadoop。 个人意见 - 我建议您建立自己的Hadoop,以帮助更好地理解Hadoop的内部和随后的Hadoop学习活动。 希望能帮助 ...
  • 您可能会遇到本地主机耗尽或内存不足或其他问题,以免机器完全启动。 如果您不想处理手动安装,还有其他几个选项: 如果您有权访问码头环境,请尝试他们提供的码头图像。 使用AWS,GCE,Azure在云中运行它们,它们通常可以获得一小部分个人/学生学分。 对于AWS,EMR还使您可以轻松地重复运行。 对于非常短的持续时间,你可以尝试从Bitnami( https://bitnami.com/stack/hadoop )的演示,并运行你需要的任何东西。 You may be running into your lo ...
  • 您可以在cloudera安装目录下找到这些环境变量。 通常,它安装在“opt”目录下,因此hadoop集群配置的路径为:opt> cloudera> parcels> CDH> etc,您可以在其中搜索这些环境变量。 You can find these environment variables set under cloudera installed directory. Generally, it does install under "opt" directory, so path to confi ...
  • 您可以通过选择路径B手动安装此处指定的cloudera来执行此操作,该路径为您提供在线下载包裹或从本地存储库指定包裹的选项。 要么 您可以使用安装路径C单独安装软件包,这将在cloudera文档中进行说明。 You can do that by selecting the path B Manual installation of cloudera specified here which provide you the option of downloading the parcels online or ...
  • Sqoop的Cloudera发行版与Apache Sqoop版本相匹配。 不存在与绩效有关的重大问题。 然而,在CDH上运行Cloudera分发Sqoop是有好处的,因为你可以免费获得漂亮的包装和简单的安装。 Jarcec Cloudera distribution of Sqoop match the Apache Sqoop version. There shall be no major performance related issues. There is however benefit in r ...
  • Cloudera Manager将提供两项服务。 一个是服务器另一个是代理。 正如您所说,您可以通过CLI访问所有节点。 因此,在所有节点上运行以下命令以查找哪个是服务器并打开(服务器将仅在一台机器上运行) sudo service cloudera-scm-server status 查找CDH服务器地址的另一种简单方法 ssh到任何节点并移动到/ etc / cloudera-scm-agent。 在那里你会找到config.ini文件,你会发现server_host地址 Cloudera Manage ...
  • Drill可以与Cloudera一起独立安装在集群的节点上 - 并且可以在HDFS上查询文件。 请参阅链接以获取安装详细信息 - https://cwiki.apache.org/confluence/display/DRILL/Deploying+Apache+Drill+in+a+Clustered+Environment I got this working with cloudera hadoop distribution. I already had cloudera cluster instal ...
  • 这是BYOH的Datastax文档 Here is the Datastax documentation for BYOH