知识点
相关文章
更多最近更新
更多[zz]Twitter Storm源代码分析之ZooKeeper中的目录结构
2019-03-02 23:39|来源: 网路
作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明
转自网址: http://xumingming.sinaapp.com/466/twitter-storm-code-analysis-zookeeper-dirs/
我们知道Twitter Storm的所有的状态信息都是保存在Zookeeper里面，nimbus通过在zookeeper上面写状态信息来分配任 务，supervisor，task（两个实体）通过从zookeeper中读状态来领取任务，同时supervisor, task也会定义发送心跳信息到zookeeper， 使得nimbus可以监控整个storm集群的状态， 从而可以重启一些挂掉的task。ZooKeeper 使得整个storm集群十分的健壮 — 任何一台工作机器挂掉都没有关系，只要重启然后从zookeeper上面重新获取状态信息就可以了。本文主要介绍Twitter Storm在ZooKeeper中保存的数据目录结构，源代码主要是: backtype.storm.cluster, 废话不多说，直接看下面的结构图：
一个要注意的地方是，作者在代码里面很多地方用到的storm-id, 其实就是topology-id的意思。我在邮件列表里面问了他一下， 他说以前他把topology叫做storm, 代码里面还没有改过来。
|
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
|
/-{storm-zk-root} -- storm在zookeeper上的根
| 目录
|
|-/assignments -- topology的任务分配信息
| |
| |-/{topology-id} -- 这个下面保存的是每个
| topology的assignments
| 信息包括： 对应的
| nimbus上的代码目录,所有
| task的启动时间,
| 每个task与机器、端口的映射
|
|-/tasks -- 所有的task
| |
| |-/{topology-id} -- 这个目录下面id为
| | {topology-id}的topology
| | 所对应的所有的task-id
| |
| |-/{task-id} -- 这个文件里面保存的是这个
| task对应的component-id：
| 可能是spout-id或者bolt-id
|
|-/storms -- 这个目录保存所有正在运行
| | 的topology的id
| |
| |-/{topology-id} -- 这个文件保存这个topology
| 的一些信息，包括topology的
| 名字，topology开始运行的时
| 间以及这个topology的状态
| (具体看StormBase类)
|
|-/supervisors -- 这个目录保存所有的supervisor
| | 的心跳信息
| |
| |-/{supervisor-id} -- 这个文件保存的是supervisor
| 的心跳信息包括:心跳时间，主
| 机名，这个supervisor上worker
| 的端口号运行时间
| (具体看SupervisorInfo类)
|
|-/taskbeats -- 所有task的心跳
| |
| |-/{topology-id} -- 这个目录保存这个topology的所
| | 有的task的心跳信息
| |
| |-/{task-id} -- task的心跳信息，包括心跳的时
| 间，task运行时间以及一些统计
| 信息
|
|-/taskerrors -- 所有task所产生的error信息
|
|-/{topology-id} -- 这个目录保存这个topology下面
| 每个task的出错信息
|
|-/{task-id} -- 这个task的出错信息
|
我们知道，storm集群里面工作机器分为两种一种是nimbus, 一种是supervisor, 他们通过zookeeper来进行交互，nimbus通过zookeeper来发布一些指令，supervisor去读zookeeper来执行这些指 令。上面主要是nimbus和supervisor在zookeeper上交换了哪些信息，下面是nimbus和zookeeper在自己本机存的信息。代码主要包括config.clj, nimbus.clj, supervisor.clj, worker.clj。
注意：下面目录结构里面， nimbus机器上面只有/nimbus目录，supervisor机器上面只有/supervisor目录和/workers目录。
|
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
|
/{storm-local-dir}
|
|-/nimbus
| |
| |-/inbox -- 从nimbus客户端上传的jar包
| | | 会在这个目录里面
| | |
| | |-/stormjar-{uuid}.jar -- 上传的jar包其中{uuid}表示
| | 生成的一个uuid
| |
| |-/stormdist
| |
| |-/{topology-id}
| |
| |-/stormjar.jar -- 包含这个topology所有代码
| | 的jar包(从nimbus/inbox里
| | 面挪过来的)
| |
| |-/stormcode.ser -- 这个topology对象的序列化
| |
| |-/stormconf.ser -- 运行这个topology的配置
|
|-/supervisor
| |
| |-/stormdist
| | |
| | |-/{topology-id}
| | |
| | |-/resources -- 这里保存的是topology的
| | | jar包里面的resources目录
| | | 下面的所有文件
| | |
| | |-/stormjar.jar -- 从nimbus机器上下载来的
| | | topology的jar包
| | |
| | |-/stormcode.ser -- 从nimbus机器上下载来的
| | | 这个topology对象的序列
| | | 化形式
| | |
| | |-/stormconf.ser -- 从nimbus机器上下载来的
| | 运行这个topology的配置
| |
| |-/localstate -- supervisor的localstate
| |
| |-/tmp -- 临时目录，从Nimbus上下
| | 载的文件会先存在这个目
| | 录里面，然后做一些简单
| | 处理再copy到
| | stormdist/{topology-id}
| | 里面去
| |-/{uuid}
| |
| |-/stormjar.jar -- 从Nimbus上面download下
| 来的工作jar包
|
|-/workers
|
|-/{worker-id}
|
|-/pids -- 一个worker可能会起多个子
| | 进程所以可能会有多个pid
| |
| |-/{pid} -- 运行这个worker的JVM的pid
|
|-/heartbeats -- 这个supervisor机器上的
| worker的心跳信息
|
|-/{worker-id} -- 这里面存的是一个worker
的心跳：主要包括心跳时
间和worker的id
|
转自：http://www.cnblogs.com/zhangzhang/archive/2013/01/08/2851313
相关问答
更多-
这只是一个提示，而不是一个完整的解决方案（我不认为这是可行的）。 然而，评论太久了。 看看twitter api文档，如何搜索，段落查询运算符 。 如果您在一个术语前加上一个术语，则将其从查询中排除。 这只会在您的搜索查询中转换为twitteR ，如下所示： searchTwitter("#flipkart -pricetrak", n=10) 您可以尝试排除某些条款，但这不是一件容易的事。 此外，你不应该做#flipkart -@flipkart ，因为大多数客户的评论似乎是针对用户@flipkart ...
-
Twitter授权(Twitter Authorization)[2023-06-09]
oauth_timestamp不是随机生成的，而是当前时间。 例如，上面的例子是（用http://www.onlineconversion.com/unix_time.htm验证） Sat, 02 Jul 2016 08:38:58 GMT oauth_nonce是随机的，如下面的帮助页面所述，例如“base64编码32字节的随机数据”。 oauth_signature是根据您的请求参数计算的，有时会发布正文，客户端令牌/机密等。 https://dev.twitter.com/oauth/overvie ... -
Twitter整合(Twitter Integration)[2022-04-23]
如果您查看浏览器控制台，您将看到错误： TWITTER WIDGET: The Twitter API v1.0 is deprecated, and this widget has ceased functioning. widget.js:1 TWITTER WIDGET: You can replace it with a new, upgraded widget from它已被宣布为未来的开源，但它仍然没有。 It's been anounced to be open sourced in the future, but it still isnt.Twitter + AS3？(Twitter + AS3?)[2022-07-02]
您正在寻找的是这样的： import fl.controls.TextArea; /**** vars ****/ var user:String; var url:String; var tweetCount:int; var tweets:Array; var times:Array; var textArea:TextArea; /**** setup ****/ user = "leifpagrotsky"; tweetCount = 10; setupText();//setup a text ...使用twitter登录(Sign in using twitter)[2022-03-03]
我终于使用了Twitter4j，它现在运行良好。 I finally used Twitter4j and it is working well uptil now.Twitter Oauth问题(Twitter Oauth Issue)[2023-05-07]
从来没有和Warden一起工作过，但是从与他人的exp，我想它应该是这样的 Warden::OAuth.access_token_user_finder(:twitter) do |access_token| user = User.find_by_access_token_and_access_secret(access_token.token, access_token.secret) user ||= User.create(:access_token => access_token.to ...Twitter Api问题？(Twitter Api Problem?)[2021-02-16]
再次检查您的消费者密钥和秘密。 也许你输错了你的变量名。 如果您直接使用此处的示例代码，那么变量是$consumer_key和$consumer_secret - 小写和低调，与您的不同。 Check out your consumer key and secret once again. Maybe you've typed your variable names wrong. If you used the sample code from here straight out of the box, t ...twitteR和ROAuth(twitteR and ROAuth)[2022-07-27]
希望通过我刚刚上传的版本解决了这个问题。 如果您尚未使用0.9.1版本的ROAuth，是否可以更新您的软件包并重试？ This hopefully was resolved with the version that I just uploaded yesterday. If you're not already using 0.9.1 version of ROAuth, can you update your package and try again?Popover for Twitter(Popover for Twitter)[2022-11-19]
您需要在页面中包含bootstrap javascript，bootstrap css和jQuery javascript。 它们可以在这里下载： http://twitter.github.com/bootstrap/assets/bootstrap.zip http://code.jquery.com/jquery-1.9.1.js 对于JSFiddle，您可以使用左侧的Frameworks and Extensions菜单和其他文件（如bootstrap的js和css）包含jQuery，使用左侧的Ex ...