知识点
相关文章
更多最近更新
更多storm client command
2019-03-02 23:58|来源: 网路
最近在研究实时日志分析,storm确实不错,以下是命令参数:
storm help
Syntax: storm jar topology-jar-path class
运行jar包中类的主函数和指定的参数
Commands:
activate storm activate topology-name
激活指定的任务
classpath storm classpath
打印storm的classpath
deactivate storm deactivate topology-name
暂停storm的任务
dev-zookeeper storm dev-zookeeper
启动一个新的Zookeeper,这种情况只用于dev/test
drpc storm drpc
启动一个DRPC进程
help
jar storm jar topology-jar-path class
运行你的storm job,topology是类中的主函数
kill storm kill topology-name [-w wait-time-secs]
通过任务名称kill一个任务,storm会先使任务接口无效,使已经存在的消息被处理完成,然后会关闭任务并清除状态,你可以使用-w延迟几秒后关闭任务
list storm list
列出正在运行的topolofies和状态
localconfvalue storm localconfvalue conf-name
打印出conf-name在本地storm配置文件中的值
nimbus storm nimbus
启动一个nimubs进程。
rebalance storm rebalance topology-name [-w wait-time-secs]
有时候你想扩展你的任务运行在某些机器上,比如你有10个节点,每个节点运行4个任务,然后又增加了10个节点,你希望每个节点运行2个任务,一种方法是kill掉任务,重新提交,但是storm提供rebalance命令来做这件事。
remoteconfvalue storm remoteconfvalue conf-name
打印出conf-name在storm cluster中的值
repl storm repl
打开一个clojure repl,对debugging有用
shell
supervisor storm supervisor
启动一个supervisor进程
ui storm ui
启动一个ui进程
version
storm help <command> 查看某一个命令的具体用法
转自:http://my.oschina.net/guol/blog/202015
相关问答
更多-
经过几次测试后,我设法解决了这个问题。 使用以下测试环境运行: - Windows 7 SP1 --Apache Storm 1.0.3 - Java 1.8.0_111 - Eclipse Mars.2(4.5.2) 在本地群集上运行拓扑的方法示例: private void runTopology(final StormTopology topology, final String topologyName, final long timeout) { LocalCluster localClust ...
-
Apache Storm:SLF4J:类路径包含多个SLF4J绑定(Apache Storm: SLF4J: Class path contains multiple SLF4J bindings)[2024-01-15]
您将在此处找到解决方案: http : //www.slf4j.org/codes.html#multiple_bindings 在可能导致冲突的依赖项(pom.xml)中添加排除项。org.slf4j slf4j-log4j12 1.7.xx -
风暴启动器的自述文件已过时。 这些示例不再在本地运行,因为ConfigurableTopology更改为不支持此处https://github.com/apache/storm/commit/b254ede46a25466749cd48ebd4bcb56dd791ec4a#diff-de7eab133732a8b5b97be6aa7328e392R92 。 如果你想在本地运行它,你可以使用https://github.com/apache/storm/blob/master/storm-server/src ...
-
.avsc文件从Kaa Storm应用程序日志模式下载而不是.jar(.avsc file downloading instead of .jar from Kaa Storm app log schema)[2022-03-18]
刚刚意识到,本教程中显示的图片存在一个小问题,并且在那里给出的说明中没有提到这一步。 教程显示以下图片: 来自Storm应用教程的图片 现在,管理界面如下所示: 来自当前管理界面的图片 本教程中缺少的步骤是首先需要选择导出格式作为Java库,然后下载该库。 Just realised that there is small issue in terms of the picture shown in the tutorial and the step missed in the instructions g ... -
我发现了这个问题。 我应该将我的zookeeper设置为我的slave节点,而不是我的主节点。 现在问题解决了,风暴集群正在升级。 I discovered the problem. I should set my zookeeper at my slave nodes, not at my master node. Now the problem is solved & the storm cluster is up.
-
问题是由于Nimbus和Zookeeper的端口未打开,Nimbus无法与其他机器上的Zookeeper节点连接。安全性是机器上的问题,Zookeeper的端口2181在机器上关闭。 我通过设置Nimbus的端口和动物园管理员打开来解决了这个问题。 如果您需要更多关于答案的描述,请写评论。 The problem was Nimbus could not connect with Zookeeper nodes on other machines due to the ports of Nimbus and ...
-
好吧,没有办法像我想要的那样快速压缩。 但是我找到了解决办法,如果有人需要,我可以在这里分享。 这个问题不仅与Storm相关,而且是一个更一般的Hadoop问题。 我的所有数据都是使用HdfsBolt写入的: RecordFormat format = new DelimitedRecordFormat().withFieldDelimiter("|"); //Synchronize data buffer with the filesystem every 1000 tuples ...
-
这通常是由风暴客户端和风暴启动器版本不一致造成的。 请尝试按照以下步骤操作该示例。 从http://storm.apache.org/downloads.html下载最新版本 在这个例子中,我们将使用版本1.1.1 将其解压缩到一个文件夹,我们称之为${STORM_HOME} cd到${STORM_HOME}/examples/storm-starter 执行mvn package -DskipTests=true 这应该在目标文件夹中构建风暴启动器jar ${STORM_HOME}/examples/st ...
-
无法使用kafka-storm向apache storm提交拓扑(Unable to submit topology to apache storm using kafka-storm)[2022-04-07]
我最终通过使用maven repo中预编译的storm-kafka版本并在拓扑中添加过滤器螺栓而不是在spout本身中进行过滤来解决这个问题。 从而消除了对storm-core和storm-kafka本地编译的jar文件的需求。 这不是一个“解决方案”,但它是解决问题的一种方法。 I eventually worked around this problem by using a pre-compiled version of storm-kafka from a maven repo and adding ... -
正如错误所示,您尝试在源代码中运行。 只需下载二进制版本https://storm.apache.org/downloads.html并按照安装说明https://storm.apache.org/documentation/Setting-up-a-Storm-cluster.html 之后,您可以准备jar文件并通过bin/storm jar yourJarFile.jar提交到集群(请参阅https://storm.apache.org/documentation/Command-line-clien ...