首页 \ 教程 \ storm

知识点

  • Storm

    • 相关文章

    更多
  • Twitter Storm常见模式
  • Storm常见问题(笔记)
  • Storm常见模式——求TOP N
  • Storm常见模式——分布式RPC
  • Hadoop 常见问题总结
  • java 继承的几个常见问题
  • solr常见问题整理
  • Hadoop常见问题及解决办法
  • 搭建Hadoop环境时关于配置无密码ssh的常见问题
  • Storm常见模式——BasicBolt
  • Storm常见模式——批处理
  • tomcat中搭建solr Cloud、日志、多Core以及常见问题
  • SSDB 常见问题解决方案
  • Hadoop全分布安装配置及常见问题
  • 友推常见问题和解决方案汇总

    • 最近更新

    更多
  • java线程状态详解(6种)
  • redis从库只读设置-redis集群管理
  • Netty环境配置
  • Netty基于流的传输处理
  • Netty入门实例-使用POJO代替ByteBuf
  • Netty入门实例-时间服务器
  • Netty入门实例-编写服务器端程序
  • Netty开发环境配置
  • 电商平台数据库设计
  • HttpClient 上传文件
  • MongoDB常用命令
  • 快速了解MongoDB【基本概念与体系结构】
  • windows系统安装MongoDB
  • Spring boot整合MyBatis-Plus 之二：增删改查
  • 分布式ID生成器【snowflake雪花算法】

    • 初试Twitter Storm之常见问题

    2019-03-02 23:38|来源: 网路

    初试Storm之常见问题
     
     
    错误 1 ：发布topologies到远程集群时，出现Nimbus host is not set异常。异常内容如下所示：

    [root@xop-dev-a bin]# ./storm jar /home/clx/storm-starter.jar storm.starter.WordCountTopology wordcount

    Running: export STORM_JAR=/home/clx/storm-starter.jar; java -client -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib  -cp /home/clx/storm-0.5.4/storm-0.5.4.jar:/home/clx/storm-0.5.4/lib/log4j-1.2.16.jar:/home/clx/storm-0.5.4/lib/tools.macro-0.1.0.jar:/home/clx/storm-0.5.4/lib/jline-0.9.94.jar:/home/clx/storm-0.5.4/lib/commons-lang-2.5.jar:/home/clx/storm-0.5.4/lib/core.incubator-0.1.0.jar:/home/clx/storm-0.5.4/lib/junit-3.8.1.jar:/home/clx/storm-0.5.4/lib/compojure-0.6.4.jar:/home/clx/storm-0.5.4/lib/zookeeper-3.3.2.jar:/home/clx/storm-0.5.4/lib/clojure-contrib-1.2.0.jar:/home/clx/storm-0.5.4/lib/httpcore-4.0.1.jar:/home/clx/storm-0.5.4/lib/commons-logging-1.1.1.jar:/home/clx/storm-0.5.4/lib/commons-io-1.4.jar:/home/clx/storm-0.5.4/lib/ring-core-0.3.10.jar:/home/clx/storm-0.5.4/lib/httpclient-4.0.1.jar:/home/clx/storm-0.5.4/lib/commons-codec-1.3.jar:/home/clx/storm-0.5.4/lib/jzmq-2.1.0.jar:/home/clx/storm-0.5.4/lib/jvyaml-1.0.0.jar:/home/clx/storm-0.5.4/lib/commons-fileupload-1.2.1.jar:/home/clx/storm-0.5.4/lib/slf4j-log4j12-1.5.8.jar:/home/clx/storm-0.5.4/lib/servlet-api-2.5.jar:/home/clx/storm-0.5.4/lib/json-simple-1.1.jar:/home/clx/storm-0.5.4/lib/ring-jetty-adapter-0.3.11.jar:/home/clx/storm-0.5.4/lib/slf4j-api-1.5.8.jar:/home/clx/storm-0.5.4/lib/jetty-util-6.1.26.jar:/home/clx/storm-0.5.4/lib/joda-time-1.6.jar:/home/clx/storm-0.5.4/lib/libthrift7-0.7.0.jar:/home/clx/storm-0.5.4/lib/commons-exec-1.1.jar:/home/clx/storm-0.5.4/lib/clojure-1.2.0.jar:/home/clx/storm-0.5.4/lib/ring-servlet-0.3.11.jar:/home/clx/storm-0.5.4/lib/clj-time-0.3.0.jar:/home/clx/storm-0.5.4/lib/hiccup-0.3.6.jar:/home/clx/storm-0.5.4/lib/clout-0.4.1.jar:/home/clx/storm-0.5.4/lib/jetty-6.1.26.jar:/home/clx/storm-0.5.4/lib/servlet-api-2.5-20081211.jar:/home/clx/storm-starter.jar:/root/.storm:/home/clx/storm-0.5.4/bin storm.starter.WordCountTopology wordcount

    0    [main] INFO  backtype.storm.StormSubmitter  - Jar not uploaded to master yet. Submitting jar...

    Exception in thread "main" java.lang.IllegalArgumentException: Nimbus host is not set

             at backtype.storm.utils.NimbusClient.<init>(NimbusClient.java:30)

             at backtype.storm.utils.NimbusClient.getConfiguredClient(NimbusClient.java:17)

             at backtype.storm.StormSubmitter.submitJar(StormSubmitter.java:78)

             at backtype.storm.StormSubmitter.submitJar(StormSubmitter.java:71)

             at backtype.storm.StormSubmitter.submitTopology(StormSubmitter.java:50)

             at storm.starter.WordCountTopology.main(WordCountTopology.java:81)

     

    解决方法：在~/.storm/目录新建storm.yaml文件，~代表用户主目录。storm.yaml文件内容：nimbus.host: "10.0.0.24"。重启nimbus后台程序，异常消失。

     

    错误2：启动Supervisor时，出现java.lang.UnsatisfiedLinkError: /usr/local/lib/libjzmq.so.0.0.0: libzmq.so.1: cannot open shared object file: No such file or directory异常。异常内容如下所示：

    2011-12-01 11:58:47 worker [ERROR] Error on initialization of server mk-worker

    java.lang.UnsatisfiedLinkError: /usr/local/lib/libjzmq.so.0.0.0: libzmq.so.1: cannot open shared object file: No such file or directory

             at java.lang.ClassLoader$NativeLibrary.load(Native Method)

             at java.lang.ClassLoader.loadLibrary0(ClassLoader.java:1803)

             at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1728)

             at java.lang.Runtime.loadLibrary0(Runtime.java:823)

             at java.lang.System.loadLibrary(System.java:1028)

             at org.zeromq.ZMQ.<clinit>(ZMQ.java:34)

             at java.lang.Class.forName0(Native Method)

             at java.lang.Class.forName(Class.java:169)

             at zilch.mq__init.load(Unknown Source)

             at zilch.mq__init.<clinit>(Unknown Source)

             at java.lang.Class.forName0(Native Method)

             at java.lang.Class.forName(Class.java:247)

             at clojure.lang.RT.loadClassForName(RT.java:1578)

             at clojure.lang.RT.load(RT.java:399)

             at clojure.lang.RT.load(RT.java:381)

             at clojure.core$load$fn__4511.invoke(core.clj:4905)

             at clojure.core$load.doInvoke(core.clj:4904)

             at clojure.lang.RestFn.invoke(RestFn.java:409)

             at clojure.core$load_one.invoke(core.clj:4729)

             at clojure.core$load_lib.doInvoke(core.clj:4766)

             at clojure.lang.RestFn.applyTo(RestFn.java:143)

             at clojure.core$apply.invoke(core.clj:542)

             at clojure.core$load_libs.doInvoke(core.clj:4800)

             at clojure.lang.RestFn.applyTo(RestFn.java:138)

             at clojure.core$apply.invoke(core.clj:542)

             at clojure.core$require.doInvoke(core.clj:4869)

             at clojure.lang.RestFn.invoke(RestFn.java:422)

             at backtype.storm.messaging.zmq$loading__4410__auto__.invoke(zmq.clj:1)

             at backtype.storm.messaging.zmq__init.load(Unknown Source)

             at backtype.storm.messaging.zmq__init.<clinit>(Unknown Source)

             at java.lang.Class.forName0(Native Method)

             at java.lang.Class.forName(Class.java:247)

             at clojure.lang.RT.loadClassForName(RT.java:1578)

             at clojure.lang.RT.load(RT.java:399)

             at clojure.lang.RT.load(RT.java:381)

             at clojure.core$load$fn__4511.invoke(core.clj:4905)

             at clojure.core$load.doInvoke(core.clj:4904)

             at clojure.lang.RestFn.invoke(RestFn.java:409)

             at clojure.core$load_one.invoke(core.clj:4729)

             at clojure.core$load_lib.doInvoke(core.clj:4766)

             at clojure.lang.RestFn.applyTo(RestFn.java:143)

             at clojure.core$apply.invoke(core.clj:542)

             at clojure.core$load_libs.doInvoke(core.clj:4800)

             at clojure.lang.RestFn.applyTo(RestFn.java:138)

             at clojure.core$apply.invoke(core.clj:542)

             at clojure.core$require.doInvoke(core.clj:4869)

             at clojure.lang.RestFn.invoke(RestFn.java:409)

             at backtype.storm.messaging.loader$mk_zmq_context.doInvoke(loader.clj:8)

             at clojure.lang.RestFn.invoke(RestFn.java:437)

             at backtype.storm.daemon.worker$fn__3074$exec_fn__858__auto____3075.invoke(worker.clj:109)

             at clojure.lang.AFn.applyToHelper(AFn.java:187)

             at clojure.lang.AFn.applyTo(AFn.java:151)

             at clojure.core$apply.invoke(core.clj:540)

             at backtype.storm.daemon.worker$fn__3074$mk_worker__3216.doInvoke(worker.clj:78)

             at clojure.lang.RestFn.invoke(RestFn.java:513)

             at backtype.storm.daemon.worker$_main.invoke(worker.clj:247)

             at clojure.lang.AFn.applyToHelper(AFn.java:174)

             at clojure.lang.AFn.applyTo(AFn.java:151)

             at backtype.storm.daemon.worker.main(Unknown Source)

     
    解决方法 1 ：export LD_LIBRARY_PATH=/usr/local/lib
    解决方法 2 ：编辑/etc/ld.so.conf文件，增加一行：/usr/local/lib。再执行sudo ldconfig命令，重启Supervisor，异常消失。
     
    错误 3 ：发布drpc类型的topologies到远程集群时，出现空指针异常，连接drpc服务器失败。
     
    解决方法：在conf/storm.yaml文件中增加drpc服务器配置，启动配置文件中指定的所有drpc服务。内容如下所示：
    drpc.servers:
      - "drpc服务器ip"
     
    错误 4 ：客户端调用drpc服务时，worker的日志中出现Failing message，而bolt都未收到数据。日志如下所示：

    2011-12-02 09:59:16 task [INFO] Failing message backtype.storm.drpc.DRPCSpout$DRPCMessageId@3770bdf7: source: 1:27, stream: 1, id: {-5919451531315711689=-5919451531315711689}, [foo.com/blog/1, {"port":3772,"id":"5","host":"10.0.0.24"}]

     

    解决方法：主机名，域名，hosts文件配置不正确会引起这类错误。检查并修改storm相关机器的主机名，域名，hosts文件。重启网络服务：service network restart。重启storm，再次调用drpc服务，成功。Hosts文件中必须包含如下内容：

    【nimbus主机ip】 【nimbus主机名】 【nimbus主机别名】
    【supervisor主机ip】 【supervisor主机名】 【supervisor主机别名】
    【zookeeper主机ip】 【zookeeper主机名】 【zookeeper主机别名】
     
    错误 5 ：发布topologies时，出现不能序列化log4j.Logger的异常。
    解决方法：使用slf4j代替log4j。 
     
    错误 6 ：bolt在处理消息时，worker的日志中出现Failing message。
     
    解决方法：提交Topology时设置适当的消息的超时时间，比消息原本的超时时间更长，如下所示：
                         conf.setMessageTimeoutSecs(60);//默认为30秒。
     

    本文出自 “圆石技术之路” 博客，请务必保留此出处http://chenlx.blog.51cto.com/4096635/740073


    转自：http://chenlx.blog.51cto.com/4096635/740073

    相关问答

    更多

    • PPT常见问题[2022-05-13]

      呵呵，你在空白处右击【粘贴】就可以了，记住，不要在标题或是正文处粘贴。你可以看看窗内网的《PowerPoint》视频教程，那里讲的很清楚的，我也是从视频中学到的。

    • 计算机有多少常见问题[2022-04-27]

      中了病毒有可能让系统瘫痪

    • 计算机常见问题[2023-04-16]

      电脑常见问题有很多，大大小小都会有，不能一概而论，所以你的问题不太好回答！

    • 计算机常见问题的解决[2023-06-01]

      问一下电脑公司的人啊!!!!!!!!!!!!或把机器还原~~~~~~~~~~~

    • 网络常见问题与故障1000例 计算机常见问题与故障1000例[2023-12-26]

      你上www.verycd.com吧！ 有的。以前我有下载过，后来就删除了

    • 面试常见问题及回答![2022-02-02]

      最主要的是以下20多个问题。 （1）谈谈你对我单位的看法。 （2）谈谈你自己的情况。 （3）你为什么要来这儿工作？ （4）你的人际关系如何？ （5）你过去的领导对你如何？ （6）你的主要缺点是什么？ （7）你有什么特长？ （8）你有哪些业余爱好？ （9）你对什么最感兴趣？ （10）你的家庭、婚姻状况如何？ （11）你对待遇有何要求？ （12）你能适应所要承担的工作吗？ （13）你对与工作有关的理论知识掌握如何？ （14）你的经验符合工作要求吗？ （15）这项工作压力大、困难多，你受得了吗？ （16）请例举某 ...

    • 面试常见问题及回答[2023-09-12]

      1、自我介绍：介绍你的经历和特长（优势和特点），至于姓名等纸面上有的就没有必要再重复了 2、原来担任工作的内容或专业（指应届毕业生）：口才好的可以为自己的工作内容增加点色彩，不会的就老老实实回答。而应届毕业生请实事求是的回答 3、为什么离开原来的公司或为什么选择我们公司：强调自身在原来公司的优势和事迹，同时表示对自身能力的肯定以及原有公司的栽培，暗示对方与原公司的分别只是因为某些很冠冕的原因，而不是因为某些恩怨（招聘单位很忌讳应聘人员说原来公司的坏话），最后要明确告知对方自己哪方面的能力或特质是与他们的工作 ...

    Copyright ©2023 peixunduo.com All Rights Reserved.粤ICP备14003112号

    本站部分内容来源于互联网，仅供学习和参考使用，请莫用于商业用途。如有侵犯你的版权，请联系我们(neng862121861#163.com)，本站将尽快处理。谢谢合作！