Storm

Apache Storm 是一个免费的开源分布式实时计算系统。 Apache Storm 可以轻松可靠地处理无界数据流,实时处理 Hadoop 为批处理所做的工作。 Apache Storm 很简单,可以与任何编程语言一起使用,而且使用起来很有趣! Apache Storm 有很多用例:实时分析、在线机器学习、持续计算、分布式 RPC、ETL 等等。 Apache Storm 速度很快:一个基准测

Storm介绍

Apache Storm 是一个免费的开源分布式实时计算系统。 Apache Storm 可以轻松可靠地处理无界数据流,实时处理 Hadoop 为批处理所做的工作。 Apache Storm 很简单,可以与任何编程语言一起使用,而且使用起来很有趣!


Apache Storm 有很多用例:实时分析、在线机器学习、持续计算、分布式 RPC、ETL 等等。 Apache Storm 速度很快:一个基准测试表明它每个节点每秒处理超过一百万个元组。 它具有可扩展性、容错性,保证您的数据将得到处理,并且易于设置和操作。


Apache Storm 与您已经使用的排队和数据库技术集成。 Apache Storm 拓扑使用数据流并以任意复杂的方式处理这些流,根据需要在计算的每个阶段之间重新分配流。 在教程中阅读更多内容。

文章

更多
  • 使用LocalCluster cluster = new LocalCluster();突然停掉 或者发生以下错误: 544 [main] INFO test.java.com.StormTridentKafkaTest - Simple Trident Kafka spout test for Kafka version 0.8 and Storm 0.9 (Version in pom.xml
  • storm hbase和storm-kafka-0.8-plus兼容性问题 org.slf4j.impl.StaticLoggerBinder.SINGLETON错误的解决方案如下: 看看slf4j-api-1.5.6.jar 和slf4j-log4j12-1.5.6.jar 的版本是否一致 如果发布,pom中其他依赖的jar包排除上面两个如: <dependency> <g
  • 1.安装Python环境 storm要用到Python语言,所以要安装Python环境,本人用的是centos 6.5 final操作系统已经自带,可以使用以下命令查看 [hadoop@master soft]$ python -V Python 2.6.6 2.安装strom依赖库(ZeroMQ,JZMQ) a、准备工作 首先要安装几个系统包,因为在安装ZeroMQ和JZMQ 时,这两个软件
  • Storm是一个开源的分布式实时计算系统,可以简单、可靠的处理大量的数据流。而且支持水平扩展,具有高容错性,保证每个消息都会得到处理。通过本次公开课大家会对Storm有一个比较全面的了解和认识
  • http://blog.csdn.net/hguisu/article/details/8454368 转自:http://my.oschina.net/aiguozhe/blog/102189
  • Storm是什么? Storm是Twitter开源的一个分布式的实时计算系统 使用场景: 数据的实时分析,持续计算,分布式RPC等等. Storm特点:(Storm类似手扶电梯,不出故障就会一直运行. hadoop类似升降电梯,到达一定程度会停止) 分布式 可扩展 高可靠性 编程模型简单 高效实时 常用的类: BaseRichSpout(消息生产者) BaseBasicB
  • SD Times高级编辑Alex Handy日前列出了当前使用Hadoop的项目中他认为最成功的五个。 1.Cascading:Cascading是基于Hadoop集群之上的数据处理API。它通过实现了丰富的功能化API,使你不需要接触MapReduce任务就能使用分布式计算能力,其核心概念是基于管道和流的数据处理。 2.Mahout:Mahout是一个基于Hadoop实现各种机器学习与数据挖掘算
  • 一、环境搭建 wget http://download.zeromq.org/zeromq-2.1.7.tar.gztar -xzf zeromq-2.1.7.tar.gzcd zeromq-2.1.7./configuremakesudo make installgit clone https://github.com/nathanmarz/jzmq.gitcd jzmq./autogen.s
  • storm工程在本地运行可以通过,发送到集群中就报错: java.io.NotSerializableException: backtype.storm.spout.SchemeAsMultiScheme 我使用的是storm-0.9.0-wip7的版本,不知道是不是这个原因 错误情况: 转自:http://my.oschina.net/cmc/blog/113667
  • Matrix67发表于 2010年12月18日 01:03 | Hits: 25 Tag: 算法| Brain Storm| 递归| 惊奇数学事实 有一根不均匀的绳子,烧完正好需要 1 个小时。如何用这根绳子测出半个小时的时间呢?答案很巧妙:把这根绳子的两头同时点燃,绳子烧完时正好就过了半个小时。更妙的是下面这个加强版:如何用两根这样的绳子来计时 45 分钟?答案是,把其中一根