知识点
相关文章
更多最近更新
更多storm实时流式计算框架集群搭建过程
2019-03-02 23:56|来源: 网路
Storm集群安装配置过程
——by comaple.zhang
这几天在其他同事的帮助下,调研了twitter的开源流式计算框架storm的使用,下面分享一下storm集群的安装配置过程。以作备忘之用。
我的实验机器为:195和196
如果转载请注明出处:comaple的博客
首先:安装依赖包
1, ZeroMQ 2.1.7
2, JZMQ
3, Java
4, Python
5, Unzip
这里只需要安装1,2就可以了。下面是遇到的一些问题:
安装zeroMQ
下载zeroMQ2.1.7 http://www.zeromq.org/area:download
解压:tar –xvf zeromq-2.1.7.tar.gz
Cd 到bin目录:
./autogen.sh 如果没有找到configure文件时要运行这一步。
./configure
configure: error: cannot link with -luuid, install uuid-dev. 运行时如果报这个错解决方案如下:
yum install uuid-dev 提示找不到该依赖包
yum install uuid* 直接用* ok
./configure 再次运行configure还是报错
configure: error: cannot link with -luuid, install uuid-dev.
上网搜索可能是还缺另外一个包
yum install e2fsprogs* ok
make install
安装JZMQ
a) 下载jzmq.zip https://github.com/nathanmarz/jzmq
b) Cd到bin目录./autogen.sh
c) ./configure
d) make install
安装storm集群
配置说明:10.10.249.195:nimbus 10.10.249.196: supervisor
Storm集群需要zookeeper集群的支持所以应该先安装zookeeper集群。再配置storm集群,下面是storm集群的配置:
10.10.249.195上的配置:
a) 下载storm-0.7.4.zip https://github.com/nathanmarz/storm/downloads
b) 解压后修改conf/storm.yaml文件,
storm.zookeeper.servers:
- "10.10.249.195"
- "10.10.249.196"
c) # nimbus.host:"nimbus" 这个不用改,nimbus负责提交任务,分配任务。相当于namenode节点。
配置好以后到bin目录下:
./storm nimbus 启动storm主节点服务
./storm ui 启动storm监控页面:监控地址:http://hostname:8080
10.10.249.196上的配置:
1,修改storm.yaml 文件:
storm.zookeeper.servers:
-"10.10.249.195"
-"10.10.249.196"
nimbus.host: "10.10.249.195"
#这个是storm将要启动几个本地work,一个端口对应一个work。
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
2,启动supervisor
./storm supervisor
提交任务:
10.10.249.195上面:
./storm jar stormWork.jar SearchKeywordTopNTopology"word-count"
这里有用到的jar文件大家可以试一试:stormWork.jar
监控storm运行情况:
转自:http://blog.csdn.net/comaple/article/details/7896167
相关问答
更多-
ssh框架怎么搭建?[2022-04-14]
这个很复杂,不是三言两语能说清楚,你最好搜视频去看。我可以给你视频 -
在docker中搭建hadoop集群有什么好方法配置ip[2024-01-02]
Docker最核心的特性之一,就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭 建多节点 Hadoop集群的详细步骤。作者在发现目前的Hadoop on Docker项目所存在的问题之后,开发了接近最小化的Hadoop镜像,... -
hadoop集群搭建好了,接下来做什么[2022-06-17]
能做的太多了吧?这还愁方向?你可以看看机器学习的算法,然后用MapReduce实现。 -
EXSI 怎么搭建集群呢?[2024-02-21]
请自行学习win2008的群集做法,其实就把esxi上面的VM当成个服务器就好了。加共享硬盘的时候如果想用SCSI卡的记得选共享等级起码要虚拟级别。其他参照microsoft官方的做法即可。 -
storm 怎么用 zookeeper 实现集群[2022-06-20]
如何使用 Zookeeper 作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储,但是 Zookeeper 并不是用来专门存储数据的,它的作用主要是用来维护和监控你存储的数据... -
Storm为什么依赖zookeeper[2022-03-28]
bg4.png 如果对zookeeper系统的认识一下,可能会加深理解,下面可以参考:zookeeper适用场景:zookeeper解决了哪些问题什么是ZooKeeper,ZooKeeper 能干什么?ZooKeeper的作用zookeeper原理zookeeper适用场景:如何竞选Master及代码实现zookeeper适用场景:配置文件同步分布式网站架构:zookeeper技术浅析zookeeper适用场景:分布式锁实现 -
如何在虚拟机中搭建linux集群[2021-12-24]
你需要一台服务器,然后装一个虚拟化OS,有了这个平台,就可以虚拟化出若干个虚拟机。当然,现在选择云商也可以,就是得花点钱。 -
windows集群搭建问题[2022-04-30]
在百度或GOOGLE上搜一下,如果曾经有人在网上发布,或有网站下载,一般都会被搜索引擎收录;如果搜不到,你可以找一下相关的论坛,最好是那种人气比较高的论坛,注册会员,发帖求助,会有高手帮你的。 -
你可以,但我不推荐它。 在Storm的当前设计中,nimbus是一个单点故障(有计划解决这个问题),但是在与nimbus相同的节点上运行一个监控程序会使得nimbus节点可能发生一些不好的事情,这对你来说是灾难性的。风暴集群。 此外,Storm的部分设计是工作人员和主管节点应该能够死亡,Storm应该能够恢复。 如果除了作为nimbus服务器之外还使用node-1作为管理程序,则会失去一些灵活性。 最后,随着集群的增长,你的nimbus服务器将有很多工作要做,你希望它能够快速运行,因此它不会减慢你的工作速度 ...
-
只需按照群集设置指南操作: https://storm.apache.org/documentation/Setting-up-a-Storm-cluster.html 对于伪分布式设置,请在单台计算机中运行所有守护程序(ZK,Nimbus和一个单独的主管)。 Just follow the cluster setup guide: https://storm.apache.org/documentation/Setting-up-a-Storm-cluster.html For pseudo distri ...