知识点
相关文章
更多最近更新
更多storm 安装(zz)
2019-03-02 23:55|来源: 网路
实际上安装Twitter Storm是上周三的事情了,周三的时候安装了一个单机版的,用WordCount跑了一下,感觉还不错。周四试着在集群上安装,碰到了一些问题,一直折腾到周五,留了个尾巴(没有做测试),这周一终于跑了WordCount,先开始出了一些问题,查了很多资料终于解决了。
一直想要把这个过程记录一下,一直都比较犯懒,今天因为也要写文档,但还没有什么特别好的思路,所以先把整个安装过程恢复一下,以免时间长了,就不记得了,呵呵~
特别感谢 安分守己的好公民@新浪博客 见龙在天@网易博客 & 徐明明 & 圆石技术之路@51CTO博客
-----------------------------------------------------------------------------------------
Storm的依赖软件比较多,需要装Python、zookeeper、zeromq以及jzmq,然后才是storm的安装。
首先说一下Storm的单机版安装过程。
第一步,安装Python2.7.2
- # wget http://www.python.org/ftp/python/2.7.2/Python-2.7.2.tgz
- # tar zxvf Python-2.7.2.tgz
- # cd Python-2.7.2
- # ./configure
- # make
- # make install
- # vi /etc/ld.so.conf
追加/usr/local/lib/
- # sudo ldconfig
这样的话,Python2.7.2就安装完毕了。
第二步,安装zookeeper
- # wget http://ftp.meisei-u.ac.jp/mirror/apache/dist//zookeeper/zookeeper-3.3.3/zookeeper-3.3.3.tar.gz
- # tar zxf zookeeper-3.3.3.tar.gz
- # cp -R zookeeper-3.3.3 /usr/local/
- # ln -s /usr/local/zookeeper-3.3.3/ /usr/local/zookeeper
- # vi ~./bashrc (设置ZOOKEEPER_HOME和ZOOKEEPER_HOME/bin)
追加:
export ZOOKEEPER_HOME="/path/to/zookeeper"
export PATH=$PATH:$ZOOKEEPER_HOME/bin
- # cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg (用zoo_sample.cfg制作$ZOOKEEPER_HOME/conf/zoo.cfg)
- # sudo mkdir /tmp/zookeeper
- # sudo mkdir /var/log/zookeeper
好的,zookeeper的单机安装已经完成了。
第三步,安装zeromq以及jzmq
jzmq的安装貌似是依赖zeromq的,所以应该先装zeromq,再装jzmq。
1)安装zeromq:
- # wget http://download.zeromq.org/historic/zeromq-2.1.7.tar.gz
- # tar zxf zeromq-2.1.7.tar.gz
- # cd zeromq-2.1.7
- # ./configure
- # make
- # make install
- # sudo ldconfig (更新LD_LIBRARY_PATH)
这里要说一下在./configure中可能会遇到的问题:
首先我遇到了:configure:error:in '/usr/local/download/zeromq-2.1.7':
congifure:error:no acceptable C compiler found in $PATH
See 'config.log' for more details
这是因为没有安装C编译器。
解决方法是:# yum install gcc*
之后遇到的问题是:Error:cannot link with -luuid, install uuid-dev
这是因为没有安装uuid相关的package。
解决方法是:# yum install uuid*
# yum install e2fsprogs*
# yum install libuuid*
问题解决了以后就可以make和make install了,如此这般,zeromq就安装好了,接下来我们安装jzmq。
2)安装jzmq
- # yum install git
- # git clone git://github.com/nathanmarz/jzmq.git
- # cd jzmq
- # ./autogen.sh
- # ./configure
- # make
- # make install
然后,jzmq就装好了,这里有个网站上参考到的问题没有遇见,遇见的童鞋可以参考下。在./autogen.sh这步如果报错:autogen.sh:error:could not find libtool is required to run autogen.sh,这是因为缺少了libtool,可以用#yum install libtool*来解决。
第五步,安装Storm
- # wget http://github.com/downloads/nathanmarz/storm-0.7.1.zip
- # unzip storm-0.7.1.zip
- # cp -R storm-0.7.1 /usr/local/
- vi ~/.bashrc
追加export STORM_HOME=/usr/local/storm-0.7.1
export PATH=$PATH:$STORM_HOME/bin
到此为止单机版的Storm就安装完毕了。
第六步,测试一下本地模式的WordCount
Github里有一个例子叫做storm_starter,我们可以用它来做测试。
按照http://github.com/nathanmarz/storm-starter,执行这个程序需要用lein,我们用eclipse代替lein。打包后进行上传。
执行命令:# storm jar StormStarter.jar storm.starter.WordCountTopology
如果出现下面的文字,说明运行成功了~
....
11367 [Thread-25] INFO backtype.storm.daemon.task - Emitting: class storm.starter.ExclamationTopology$ExclamationBolt source: 2:3, stream: 1, id: {}, [golda!!!]
....
---------------------------------------------------------------------------------------------
下面写一个集群版的Storm安装。我在做的时候是把集群里的每台机器都按照单机版安装了一遍,并都有WordCount测试了一遍,最后才修改配置文件的,当然配置过程中也会有这样那样的问题。这种方法比较繁琐,如果不仔细,容易漏掉配置文件,特别像我这种特别粗心的、经常把server写成sever导致zookeeper总是standalone模式运行的人,更是漏洞百出。所以推荐还是几台机器同时安装比较好~ BTW,我喜欢把所有安装包都download到集群上再安装,不过这是个习惯问题,网上下还是先download好,不是什么大问题~
那么我们切入正题。因为像我那样的安装方法太过繁琐,所以这里给一个Storm集群的完整安装过程。
首先要讲一下我手头的机器,我准备先用4台机器搭建一个小型的Storm集群,集群中的机器是cluster、compute-0-0、compute-0-1、computer-0-2,很显然,cluster就是nimbus,compute这三台就是supervisor。
那么我们就要来修改一下我们的/etc/hosts文件了。因为集群中这些是配置好的,所以我们打开看一下。
#vi /etc/hosts/
127.0.0.1 localhost.localdomain localhost
10.1.1.1 cluster.local cluster
10.1.255.254 compute-0-0.local compute-0-0
10.1.255.253 compute-0-1.local compute-0-1
10.1.255.252 compute-0-2.local compute-0-2
好了,接下来我们就要开始Storm的集群安装之旅了。
第一步,仍然是要安装Python-2.7.2。这一步是所有机器上都要做的,步骤和单机版一致,这里就不浪费时间再叙述一遍了。
第二步,安装zookeeper-3.3.3。由于zookeeper的算法是要求单数台机器完成,所以在配置的时候必须注意zookeeper要配置单数台机器,配置偶数台机器会出现一些无法预知的错误。
在这4台机器中,我们选择cluster、compute-0-0、compute-0-1并配置zookeeper。
依然如单机版下载、复制配置文件zoo.cfg:
- # wget http://ftp.meisei-u.ac.jp/mirror/apache/dist//zookeeper/zookeeper-3.3.3/zookeeper-3.3.3.tar.gz
- # tar zxf zookeeper-3.3.3.tar.gz
- # cp -R zookeeper-3.3.3 /usr/local/
- # ln -s /usr/local/zookeeper-3.3.3/ /usr/local/zookeeper
- # vi ~./bashrc (设置ZOOKEEPER_HOME和ZOOKEEPER_HOME/bin)
追加:
export ZOOKEEPER_HOME="/path/to/zookeeper"
export PATH=$PATH:$ZOOKEEPER_HOME/bin
- # cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg (用zoo_sample.cfg制作$ZOOKEEPER_HOME/conf/zoo.cfg)
这里开始和单机版不一样了:
- # vi /usr/local/zookeeper/conf/zoo.cfg
这里是配置zookeeper最关键的一步,也就是修改zoo.cfg配置文件,每台电脑都要配一样的。我的配置内容为:
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
dataDir=/state/partition1/tmp/zookeeper/data
dataLogDir=/state/partition1/tmp/zookeeper/log
# the port at which the clients will connect
clientPort=2181
server.0=cluster:2888:3888
server.1=compute-0-0:2888:3888
server.2=compute-0-1:2888:3888
- # echo 0 > /state/partition1/tmp/zookeeper/data/myid
这一步是每台电脑上都不同的。具体的对应关系参见zoo.cfg中的server.x=hostname:portNumber:portNumber。也就是说在我的配置文件中,cluster的echo是0,compute-0-0的echo是1,compute-0-1的echo是2。
- # bin/zkSever.sh start
这步是启动三台机器上的zookeeper,每台机器都要做。
接下去有几个命令是查看集群中zookeeper状态的:
- # echo ”stat“ | nc HOSTMASTER 2181
- # echo ”conf“ | nc HOSTMASTER 2181
- # echo ”dump“ | nc HOSTMASTER 2181
- # echo ”wchs“ | nc HOSTMASTER 2181
- # echo ”ruok“ | nc HOSTMASTER 2181
- # bin/zkCli.sh.stat /
- # bin/zkCli.sh ls /
然后创建zookeeper临时文件。
- # sudo mkdir /tmp/zookeeper
- # sudo mkdir /var/log/zookeeper
好的,zookeeper的集群安装已经完成了。
第三步,安装zeromq和jzmq。这步也和单机版一致。下面我们来安装storm。
第四步,安装storm。storm的安装和单机版也一样,但比较纠结的是storm的配置文件storm.yaml。当然,这也是每台机器都要配的。
这个脚本文件写的不咋地,所以在配置时一定注意在每一项的开始时要加空格,冒号后也必须要加空格,否则storm就不认识这个配置文件了,切记切记。
好的,那么我们来看一下这个配置文件是什么。
# vi conf/storm.yaml
我的配置内容是这样的:
nimbus.host: "cluster"
storm.local.dir: "/state/partition1/tmp/storm"
storm.zookeeper.servers:
- "cluster"
- "compute-0-0"
- "compute-0-1"
storm.zookeeper.port: 2181
说明一下:storm.local.dir表示storm需要用到的本地目录。nimbus.host表示那一台机器是master机器,即nimbus。storm.zookeeper.servers表示哪几台机器是zookeeper服务器。storm.zookeeper.port表示zookeeper的端口号,这里一定要与zookeeper配置的端口号一致,否则会出现通信错误,切记切记。当然你也可以配superevisor.slot.port,supervisor.slots.ports表示supervisor节点的槽数,就是最多能跑几个worker进程(每个sprout或bolt默认只启动一个worker,但是可以通过conf修改成多个)。
好的,到这里,我们的storm集群就配置好了。
接下来我们测试一下,依然用我们打包好的storm-start.jar。通过阅读源码我们可以知道,WordCountTopology在编写的时候如果在命令后不加参数,则是一个本地模式的WordCount,而如果有一个参数,也就是集群上的计算拓扑(Topology)名,它就会是一个在集群上跑的计算拓扑。
我们使用# bin/storm nimbus(主节点)和# bin/storm supervisor(从节点)启动storm。
storm还提供了一个可视化的工具,我们通过在主节点上输入命令# bin/storm ui来启动它,然后我们就可以在http://{NimbusHost}:8080进行查看。
那我们跑一下WordCount:
# storm jar StormStarter.jar storm.starter.WordCountTopology WordCount_1
出现错误Nimbus is not set。错误日志如下:
# ./storm jar /home/clx/storm-starter.jar storm.starter.WordCountTopology wordcount
Running: export STORM_JAR=/home/clx/storm-starter.jar; java -client -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -cp /home/clx/storm-0.5.4/storm-0.5.4.jar:/home/clx/storm-0.5.4/lib/log4j-1.2.16.jar:/home/clx/storm-0.5.4/lib/tools.macro-0.1.0.jar:/home/clx/storm-0.5.4/lib/jline-0.9.94.jar:/home/clx/storm-0.5.4/lib/commons-lang-2.5.jar:/home/clx/storm-0.5.4/lib/core.incubator-0.1.0.jar:/home/clx/storm-0.5.4/lib/junit-3.8.1.jar:/home/clx/storm-0.5.4/lib/compojure-0.6.4.jar:/home/clx/storm-0.5.4/lib/zookeeper-3.3.2.jar:/home/clx/storm-0.5.4/lib/clojure-contrib-1.2.0.jar:/home/clx/storm-0.5.4/lib/httpcore-4.0.1.jar:/home/clx/storm-0.5.4/lib/commons-logging-1.1.1.jar:/home/clx/storm-0.5.4/lib/commons-io-1.4.jar:/home/clx/storm-0.5.4/lib/ring-core-0.3.10.jar:/home/clx/storm-0.5.4/lib/httpclient-4.0.1.jar:/home/clx/storm-0.5.4/lib/commons-codec-1.3.jar:/home/clx/storm-0.5.4/lib/jzmq-2.1.0.jar:/home/clx/storm-0.5.4/lib/jvyaml-1.0.0.jar:/home/clx/storm-0.5.4/lib/commons-fileupload-1.2.1.jar:/home/clx/storm-0.5.4/lib/slf4j-log4j12-1.5.8.jar:/home/clx/storm-0.5.4/lib/servlet-api-2.5.jar:/home/clx/storm-0.5.4/lib/json-simple-1.1.jar:/home/clx/storm-0.5.4/lib/ring-jetty-adapter-0.3.11.jar:/home/clx/storm-0.5.4/lib/slf4j-api-1.5.8.jar:/home/clx/storm-0.5.4/lib/jetty-util-6.1.26.jar:/home/clx/storm-0.5.4/lib/joda-time-1.6.jar:/home/clx/storm-0.5.4/lib/libthrift7-0.7.0.jar:/home/clx/storm-0.5.4/lib/commons-exec-1.1.jar:/home/clx/storm-0.5.4/lib/clojure-1.2.0.jar:/home/clx/storm-0.5.4/lib/ring-servlet-0.3.11.jar:/home/clx/storm-0.5.4/lib/clj-time-0.3.0.jar:/home/clx/storm-0.5.4/lib/hiccup-0.3.6.jar:/home/clx/storm-0.5.4/lib/clout-0.4.1.jar:/home/clx/storm-0.5.4/lib/jetty-6.1.26.jar:/home/clx/storm-0.5.4/lib/servlet-api-2.5-20081211.jar:/home/clx/storm-starter.jar:/root/.storm:/home/clx/storm-0.5.4/bin storm.starter.WordCountTopology wordcount
0 [main] INFO backtype.storm.StormSubmitter - Jar not uploaded to master yet. Submitting jar...
Exception in thread "main" java.lang.IllegalArgumentException: Nimbus host is not set
at backtype.storm.utils.NimbusClient.<init>(NimbusClient.java:30)
at backtype.storm.utils.NimbusClient.getConfiguredClient(NimbusClient.java:17)
at backtype.storm.StormSubmitter.submitJar(StormSubmitter.java:78)
at backtype.storm.StormSubmitter.submitJar(StormSubmitter.java:71)
at backtype.storm.StormSubmitter.submitTopology(StormSubmitter.java:50)
at storm.starter.WordCountTopology.main(WordCountTopology.java:81)
解决方法是在~/.storm/目录新建storm.yaml文件,~代表用户主目录。storm.yaml文件内容:nimbus.host: "10.0.0.24"。重启nimbus后台程序,异常消失。
从此我们的WordCount_1就正常地跑起来了,并可以在ui中监视到了。证明Storm安装成功。
最后我想讲一下这几天装zookeeper的感触。首先是zookeeper端口号的配置一定要与storm中的一致,否则会出现通信异常,zookeeper无法正常启动。二是storm.yaml的配置比较脑残,一定要有空格的设计很不人性化,之前因为没有写空格导致不能识别,闹了很大的乌龙。最后是我自己的问题,以后真的不能再这么粗心了!把server写成sever导致zookeeper不能识别最后只能启动standalone模式,这个问题查了两天最后发现实在是自己太粗心了!当时真心想把手切掉!另外在集群上运行topology这个问题应该是storm脚本的问题,它没有把Nimbus的Host读出,而是需要人手动赋予,这个也是0.7.1这个版本的一个bug吧,希望以后发布的版本中有改进~
转自:http://www.cnblogs.com/aiguang/p/3522571
相关问答
更多-
请问dance up a storm具体怎么翻译?[2022-06-05]
Hi: 下列还有三个短语相同意思: cook up a storm烹饪上露一手 dance up a storm舞姿翩翩 talk up a storm 侃侃而谈 [MAINLY US INFORMAL:主要用于美国,非正式用语] to do something with a lot of energy and often skill:[以非凡的能力和技能做某事] Rob was in the kitchen cooking up a storm. Rob在厨房里大显身手. (from Cambridge ... -
when the rain,the storm all is up怎么翻译[2022-01-20]
当下雨的时候,风暴都到了 -
storm集群上每台机器必须安装zookeeper吗[2022-09-28]
protected void customizeRegistration(ServletRegistration.Dynamic registration) { registration.setInitParameter("spring.profiles.active", "default"); } } WebAppSecurityInitializer (安全配置初始化) -
Storm为什么依赖zookeeper[2022-03-28]
bg4.png 如果对zookeeper系统的认识一下,可能会加深理解,下面可以参考:zookeeper适用场景:zookeeper解决了哪些问题什么是ZooKeeper,ZooKeeper 能干什么?ZooKeeper的作用zookeeper原理zookeeper适用场景:如何竞选Master及代码实现zookeeper适用场景:配置文件同步分布式网站架构:zookeeper技术浅析zookeeper适用场景:分布式锁实现 -
Storm是什么文件[2023-06-19]
Storm译为汉语即‘暴风雨’、“暴风雪”,是暴风影音软件的英文名,是一种媒体播放器。 Storm还是一个分布式的、容错的实时计算系统,由BackType开发,广泛用于进行实时日志处理,实时统计、实时风控、实时推荐等场景中,目前最新版本是Storm 0.8.0。 Storm还是外文歌曲的名字,具体可在百度音乐中搜索。 -
如果您在本地运行并使用LocalCluter ,则无需安装Zookeeper。 如果以伪分布式模式本地运行(即,在本地启动Nimubs和Supervisor)并使用StormSubmitter ,则需要在本地安装Zookeeper。 If you run locally and use LocalCluter you do not need to install Zookeeper. If you run locally in pseudo-distributed mode (ie, start up Ni ...
-
当您从IDE运行它时,我不确定multilang支持与LocalCluster配合使用。 请参阅https://stackoverflow.com/a/32085316/8845188 。 在回答之后,似乎在对话中提到了一种解决方法。 Just for the future folks - the message was very precise. I simply missed the storm.py in the same folder where my sample.py was located. ...
-
我们只需要在生成的类文件之上编写一个抽象层,就像java客户端一样 。 您可以通过以下方式生成drpc类文件: thrift --gen php storm.thrift 你必须在你的代码中要求php-thrift库。 我把工作代码放在下面的repo中: https://github.com/mithunsatheesh/php-drpc We just need to write an abstraction layer on top of the generated class files, exac ...
-
问题是由于Nimbus和Zookeeper的端口未打开,Nimbus无法与其他机器上的Zookeeper节点连接。安全性是机器上的问题,Zookeeper的端口2181在机器上关闭。 我通过设置Nimbus的端口和动物园管理员打开来解决了这个问题。 如果您需要更多关于答案的描述,请写评论。 The problem was Nimbus could not connect with Zookeeper nodes on other machines due to the ports of Nimbus and ...
-
基本理解 手册是必读的,特别是概念部分将帮助您获得基本的理解。 您不仅应该为字数安装示例拓扑,还应该阅读附录教程 。 输入输出 你的最后一个螺栓应该将输出传输到目的地。 那可能是数据库,服务...... 您可以在任何其他Java应用程序中使用日志记录。 如果您使用的是Trident API ,则会有一个Debug过滤器,您可以将其集成到拓扑中。 Basic Understanding The manual is a must-read, especially the Concepts section wil ...