Storm入门准备

2019-03-02 23:50|来源: 网路

storm官网:http://storm-project.net/

1.

入门的最佳途径是阅读GitHub上的官方《Storm Tutorial》。其中讨论了多种Storm概念和抽象,提供了范例代码以便你可以运行一个Storm Topology。开发过程中,可以用本地模式来运行Storm,这样就能在本地开发,在进程中测试Topology。一切就绪后,以远程模式运行Storm,提交用于在集群中运行的Topology。Maven用户可以使用clojars.org提供的Storm依赖,地址是http://clojars.org/repo。

要运行Storm集群,你需要Apache Zookeeper、ØMQ、JZMQ、Java 6和Python 2.6.6。ZooKeeper用于管理集群中的不同组件,ØMQ是内部消息系统,JZMQ是ØMQ的Java Binding。有个名为storm-deploy的子项目,可以在AWS上一键部署Storm集群。关于详细的步骤,可以阅读Storm Wiki上的《Setting up a Storm cluster》。

2.

官网的教程见参考文献2,参考文献3为参考文献2的中文翻译版。

 

参考文献:

[1]:http://www.infoq.com/cn/news/2011/09/twitter-storm-real-time-hadoop

[2]:https://github.com/nathanmarz/storm/wiki/Tutorial

[3]:http://xumingming.sinaapp.com/138/twitter-storm%E5%85%A5%E9%97%A8/


转自:http://www.cnblogs.com/hequn/articles/3476424

相关问答

更多
  • bg4.png storm的,这方面不多,有资料可以参考 Storm入门指南 基于Storm进行实时网络攻击检测及数据挖掘文档下载 hadoop、storm、数据挖掘等文档分享 storm实时流计算应用开发框架-天罡从需求到技术方案介绍 hadoop、hive、storm文档、电子书籍分享 storm编程入门:基本概念 hadoop、storm、hbase面试题、工作日常问答 Storm相关20文档与相关包 Storm入门教程汇总
  • charge up原意充电、提价,此句与a storm意思是索取很多,即大量借款
  • Hi: 下列还有三个短语相同意思: cook up a storm烹饪上露一手 dance up a storm舞姿翩翩 talk up a storm 侃侃而谈 [MAINLY US INFORMAL:主要用于美国,非正式用语] to do something with a lot of energy and often skill:[以非凡的能力和技能做某事] Rob was in the kitchen cooking up a storm. Rob在厨房里大显身手. (from Cambridge ...
  • 当下雨的时候,风暴都到了
  • bg4.png 如果对zookeeper系统的认识一下,可能会加深理解,下面可以参考:zookeeper适用场景:zookeeper解决了哪些问题什么是ZooKeeper,ZooKeeper 能干什么?ZooKeeper的作用zookeeper原理zookeeper适用场景:如何竞选Master及代码实现zookeeper适用场景:配置文件同步分布式网站架构:zookeeper技术浅析zookeeper适用场景:分布式锁实现
  • Storm是什么文件[2023-06-19]

    Storm译为汉语即‘暴风雨’、“暴风雪”,是暴风影音软件的英文名,是一种媒体播放器。   Storm还是一个分布式的、容错的实时计算系统,由BackType开发,广泛用于进行实时日志处理,实时统计、实时风控、实时推荐等场景中,目前最新版本是Storm 0.8.0。   Storm还是外文歌曲的名字,具体可在百度音乐中搜索。
  • 学围棋网络行 一,规则: 学任何东西首先就是搞清规则,围棋是易学难精,规则也相对的简单。 花半个小时把下面的看完,你就算是会下围棋了。 http://weiqi.sports.tom.com/secondary/wskt/rumen/images/001/spr_wq_rumen_001_01.htm 二,电子教材: 1独山子围棋论坛:http://www.dsz.cc/bbs/index.asp?boardid=284 应该感谢白眉,嘉洲男孩等棋友的无私奉献,这论坛上有丰富的围棋视频教材,及围棋电子 ...
  • 只要你独立运行它们,我认为不应该有任何问题。 As long as you are running them independently I don't think there should be any issues.
  • 您需要将json属性从json对象中拉出,并将两个值(json对象和String groupId)作为双值元组传递。 当您将流声明为拓扑规范逻辑的一部分时,您将为第二个字段指定名称“groupId”,并且事情应该正常工作。 如果您不想修改Kafka喷口,则需要有一个中间螺栓,其唯一目的是将groupId从json对象中分离出来。 中间螺栓还可以使用定向流(emitDirect()方法),将目标放在json对象中的groupId上。 这就是为什么我不重复使用Kafka喷口的一个原因 - 除了盲目地将数据写入流 ...
  • 我不知道Storm如何管理这个过程,但你当然可以用sqlalchemy反映数据库中的表。 例如,下面是使用我目前可以访问的SQL Server实例的基本示例。 一个完整的数据库 >>> from sqlalchemy import create_engine, MetaData >>> engine = create_engine('mssql+pyodbc://:@/') # replace with user ...