Hadoop笔记:Ganglia结构和安装

2019-03-28 14:04|来源: 网络

做了几天 Hadoop试验和测试,发现监控集群状态有点困难,比如在运行较大文件时,要查看datanode的cpu属性,也只能登陆后查看。后来在网上查了下,搜到一个叫ganglia的管理工具,决定尝试安装一下,下面是我安装的记录,我用的是yum安装(主要是安装的关联文件太多):

  一、  首先看一下ganglia的结构:

    可以看到,ganglia可以通过web显示集群状态,这也是我们想要的,基本的信息我们可以理解为:服务端需要安装一个叫GMETAD的工具,节点需要安装GMOND的工具,这些信息有助于我们较好的理解,ganglia的安装。

    二、更新yum

    ganglia的依赖包有很多,但是大多数是在安装linux后自动安装的,有如下几个:

zlib-1.2.2-4
libpng-1.2.1-6
freetype2-2.1.7-2
libart_lgpl-2.3.16-1
rrdtool-1.2.11

perl

    这里我们主要安装的是rrdtool,为了更方便的安装,我们更新下yum,拷贝几个文件到ganglia服务端和客户端的/etc/yum.repos.d/目录下,之后会放到115网盘里面,

-rw-r--r-- 1 root root 2188 Dec 15 10:18 CentOS-Base.repo
-rw-r--r-- 1 root root 1931 Dec 15 10:12 CentOS-Base.repo.bak
-rw-r--r-- 1 root root  954 Dec 14 10:12 epel.repo
-rw-r--r-- 1 root root 1010 Dec 15 10:15 ius.repo
-rw-r--r-- 1 root root  633 Dec 15 10:18 remi.repo
-rw-r--r-- 1 root root  561 Mar 10  2010 rhel-debuginfo.repo
-rw-r--r-- 1 root root  852 Dec 15 10:18 webtatic.repo

    如果缺少RPM-GPG-KEY-EPEL文件,还需要导入文件RPM-GPG-KEY-EPEL,输入: wget http://download.Fedora.RedHat.com/pub/epel/RPM-GPG-KEY-EPEL到/etc/pki/rpm-gpg/内。

由于我在149上已经安装了,所以我直接copy过去:

scp RPM-GPG-KEY-EPEL root@192.168.30.148:/etc/pki/rpm-gpg/

scp -r /etc/yum.repos.d/* root@192.168.30.148:/etc/yum.repos.d/

相关问答

更多
  • 现在hadoop1.0都出了 简单说一下吧 你的java jdk的环境变量没有设置吧? 最好按以下步骤再做一遍: 1 用root用户安装jdk1.6以上 2 用root用户 创建hadoop用户 3 在hadoop用户下安装hadoop(你上面说的1到4) 4 修改/home/hadoop/.bash_profile将JDK和hadoop的环境变量设置好 5 安装ssh(伪集群也需要ssh)
  • hadoop安装问题[2023-11-22]

    你看的教程是旧的,新版的hadoop启动脚本放在sbin下。start-all.sh已经逐渐被废弃,采用新的启动脚本: sbin/hadoop-daemon.sh --script hdfs start datanodesbin/hadoop-daemon.sh --script hdfs start namenodesbin/yarn-daemon.sh start resourcemanagersbin/yarn-daemon.sh start proxyserversbin/mr-jobhistory ...
  • 没有找到NameNode这个类,估计是你hadoop不全,或者其他配置文件有错误,不是这个配置文件的问题
  • 使用bash而不是sh来调用脚本。 这解决了我的问题。 Use bash and not sh to invoke the scripts. That solved my problem.
  • 你应该试着看看O'Reilly关于Ganglia 的书 。 那边有一个很好的主题。 You should try take a look at O'Reilly's book about Ganglia. There's a good topic about that over there.
  • 错误在于gmond.conf文件。 当我评论以下值时,我在Ganglia中获得了HBase指标。 mcast_join = 239.2.11.71 bind = 239.2.11.71 The mistake was with the gmond.conf file. When I commented the following values, I got the HBase metrics in Ganglia. mcast_join = 239.2.11.71 bind = 239.2.11.71
  • 我和Ganglia一起工作Hadoop,是的,我在Ganglia上看到了很多Hadoop指标(容器,地图任务,vmem)。 事实上,Hadoop向Ganglio提交的具体报告更多的是百项指标。 hokamblogs Post就足够了。 我在主节点上编辑hadoop-metrics2.properties,内容是: namenode.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31 namenode.sink.ga ...
  • 在我努力解决问题之后,我发现如果我们在hadoop-metrics2.properties中设置了度量的dmax,那么当hadoop崩溃时,神经节不会收到任何数据,并返回UNKNOW。 神经节网站中的图形将消失。 当ganglia + nagios时,nagios也会返回UNKNOW状态。 这足以判断hadoop是上升还是下降。 dmax意味着在dmax时间之后,hadoop会破坏度量。 After my struggle to solve the problem, I found that if we s ...
  • 解决了这个问题,我做了以下事情: 将默认rrd规则更改为: RRA“RRA:AVERAGE:0.5:1:256”“RRA:AVERAGE:0.5:24:512”“RRA:平均:0.5:168:512”“RRA:平均:0.5:672:512”“RRA:平均: 0.5:5760:1024" 关闭hadoop metric2的datanode.sink和nodemanager.sink; 参考: http : //www.perzl.org/ganglia/bestpractices.html##Best_Pra ...
  • 我可以帮助您了解这一点。 但在此之前我必须告诉你,我不是Java程序员,而是我是一名C / C ++程序员。 所以,这意味着我可以让你知道,在神经节中如何工作,你可以在Java / Python中找到相应的方法来重写你想要的代码。 请注意,神经节中没有API可以达到你想要的效果。 首先考虑下面的神经节设置正确理解: GS1和GS2正在收集系统指标并将其推向GM。 因此,根据您的问题,如果您希望通过自己的基于Java / Python的应用程序收集所有此类指标,则可能必须在主服务器上安装应用程序(即使用您自己 ...