知识点
相关文章
更多最近更新
更多分布式助手Zookeeper(三) - 三劫散仙
2019-03-14 22:52|来源: 网路
本篇,散仙要介绍一下基于zookeeper的一些API的编程。
在此之前,我们先来熟悉一下相关知识:
Zookeeper的Session:
(1)客户端和server间采用长连接
(2)连接建立后,server产生session ID(64位)返还给客户端
(3)客户端定期发送ping包来检查和保持和server的连接
(4)一旦session结束或超时,所有ephemeral节点会被删除
(5)客户端可根据情况设置合适的session超时时间
Zookeeper的Watchs:
Watch是客户端安装在server的事件侦听方法
(1) 当侦听的变化发生时,server发消息给客户端进行通知
(2) 客户端使用单线程对所有事件按顺序同步回调
(3) 触发回调条件:
• 客户端连接、断开连接
• 节点数据发生改变
• 节点本身发生变化
(4)Watch是单发的,每次触发后会被自动删除
(5)如果需要再次侦听事件,必须重新安装watch
(6)无法保证跟踪到每一个变化
(7)避免安装大量watches侦听在同一个节点
Zookeeper的一些注意事项:
在客户端事件回调实现有阻塞调用
• 试图跟踪每个状态变化
• 大量watch侦听同一个znode的状态变化
• 客户端会有需要长时间处理的GC(garbage collection)
• Session超时后上层应用不进行恢复处理
可以把zookper看成一个文件系统,文件系统中的所有文件形成一个数状结构,zookeeper维护着这样的树形层次结构,树中的节点称为znode。每个znode有一个与之相关联的ACL(Access Control List)
znode通过路径被引用,而且要采用绝对路径,即必须以/开头。znode存储的数据要小于1M,这个可以配置,建议不要存储太大的东西,避免同步操作时间过长。
znode类型
短暂znode:回话结束,zookeeper就会把短暂znode删除,短暂znode不可以有子节点。
持久znode:回话结束也不会被删除,除非客户端明确要删除此znode,持久znode可以有子节点。
对于在特定时刻需要知道有哪些分布式资源可用的应用来说,使用短暂znode比较合适。
znode的观察机制
znode以某种方式发生变化时,“观察”(watch)机制可以让客户端得到通知。可以针对ZooKeeper服务的“操作”来设置观察,该服务的其他操作可以触发观察。比如,客户端可以对某个客户端调用exists操作,同时在它上面设置一个观察,如果此时这个znode不存在,则exists返回false,如果一段时间之后,这个znode被其他客户端创建,则这个观察会被触发,之前的那个客户端就会得到通知。
zookeeper的一些基本操作如下:
Zookeeper中的更新操作是有条件的。在使用delete或者setData操作时必须提供被更新znode的版本号,如果版本号不匹配,则更新操作失败。一般情况下设置-1即可。
API
目前主要有java和C两种客户端,每种操作都有同步和异步两种执行方式。
观察触发器
可以设置观察的操作:exists,getChildren,getData
可以触发观察的操作:create,delete,setData
下面给出一些事件截图:
NodeCreated:节点创建事件
NodeDeleted:节点被删除事件
NodeDataChanged:节点数据改变事件
NodeChildrenChanged:节点的子节点改变事件
下面我们再来看下ACL(zookeeper的访问控制列表),每个znode被创建时都会带有一个ACL列表,用于决定谁可以对它执行何种操作。
每个ACL都是身份验证模式、符合该模式的一个身份和一组权限的组合。身份验证模式有三种:
digest:用户名,密码
host:通过客户端的主机名来识别客户端
ip: 通过客户端的ip来识别客户端
所以我们可以类似这样构建一个ACL类:
new ACL(Perms.READ,new Id("host","example.com"));
这个ACL对应的身份验证模式是host
符合该模式的身份是example.com
权限的组合是:READ
下面给出一个API连接zookeeper的示例:
打印效果如下:
在此之前,我们先来熟悉一下相关知识:
Zookeeper的Session:
(1)客户端和server间采用长连接
(2)连接建立后,server产生session ID(64位)返还给客户端
(3)客户端定期发送ping包来检查和保持和server的连接
(4)一旦session结束或超时,所有ephemeral节点会被删除
(5)客户端可根据情况设置合适的session超时时间
Zookeeper的Watchs:
Watch是客户端安装在server的事件侦听方法
(1) 当侦听的变化发生时,server发消息给客户端进行通知
(2) 客户端使用单线程对所有事件按顺序同步回调
(3) 触发回调条件:
• 客户端连接、断开连接
• 节点数据发生改变
• 节点本身发生变化
(4)Watch是单发的,每次触发后会被自动删除
(5)如果需要再次侦听事件,必须重新安装watch
(6)无法保证跟踪到每一个变化
(7)避免安装大量watches侦听在同一个节点
Zookeeper的一些注意事项:
在客户端事件回调实现有阻塞调用
• 试图跟踪每个状态变化
• 大量watch侦听同一个znode的状态变化
• 客户端会有需要长时间处理的GC(garbage collection)
• Session超时后上层应用不进行恢复处理
可以把zookper看成一个文件系统,文件系统中的所有文件形成一个数状结构,zookeeper维护着这样的树形层次结构,树中的节点称为znode。每个znode有一个与之相关联的ACL(Access Control List)
znode通过路径被引用,而且要采用绝对路径,即必须以/开头。znode存储的数据要小于1M,这个可以配置,建议不要存储太大的东西,避免同步操作时间过长。
znode类型
短暂znode:回话结束,zookeeper就会把短暂znode删除,短暂znode不可以有子节点。
持久znode:回话结束也不会被删除,除非客户端明确要删除此znode,持久znode可以有子节点。
对于在特定时刻需要知道有哪些分布式资源可用的应用来说,使用短暂znode比较合适。
znode的观察机制
znode以某种方式发生变化时,“观察”(watch)机制可以让客户端得到通知。可以针对ZooKeeper服务的“操作”来设置观察,该服务的其他操作可以触发观察。比如,客户端可以对某个客户端调用exists操作,同时在它上面设置一个观察,如果此时这个znode不存在,则exists返回false,如果一段时间之后,这个znode被其他客户端创建,则这个观察会被触发,之前的那个客户端就会得到通知。
zookeeper的一些基本操作如下:
操作 | 描述 |
create | 创建一个znode(必须有父节点) |
delete | 删除一个znode(该znode不能有任何子节点) |
exists | 测试一个znode是否存在,并且查询它的元数据 |
getACL,setACL | 获取/设置一个znode的ACL |
getChildren | 获取一个znode的子节点名字列表 |
getData,setData | 获取/设置一个znode所保存的数据 |
sync | 将客户端的znode视图与ZooKeeper服务端同步 |
Zookeeper中的更新操作是有条件的。在使用delete或者setData操作时必须提供被更新znode的版本号,如果版本号不匹配,则更新操作失败。一般情况下设置-1即可。
API
目前主要有java和C两种客户端,每种操作都有同步和异步两种执行方式。
观察触发器
可以设置观察的操作:exists,getChildren,getData
可以触发观察的操作:create,delete,setData
下面给出一些事件截图:
NodeCreated:节点创建事件
NodeDeleted:节点被删除事件
NodeDataChanged:节点数据改变事件
NodeChildrenChanged:节点的子节点改变事件
下面我们再来看下ACL(zookeeper的访问控制列表),每个znode被创建时都会带有一个ACL列表,用于决定谁可以对它执行何种操作。
ACL权限 | 允许的操作 |
CREATE | 创建节点create("name") |
READ | getChildren() getData() |
WRITE | setData |
DELETE | delete("name")删除节点 |
ADMIN | setACL()设置权限 |
每个ACL都是身份验证模式、符合该模式的一个身份和一组权限的组合。身份验证模式有三种:
digest:用户名,密码
host:通过客户端的主机名来识别客户端
ip: 通过客户端的ip来识别客户端
所以我们可以类似这样构建一个ACL类:
new ACL(Perms.READ,new Id("host","example.com"));
这个ACL对应的身份验证模式是host
符合该模式的身份是example.com
权限的组合是:READ
下面给出一个API连接zookeeper的示例:
package com.util; import java.util.concurrent.CountDownLatch; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.Watcher; import org.apache.zookeeper.ZooKeeper; /** * 测试zookeeper的连接 * @author 三劫散仙 * * ***/ public class Test { public static void main(String[] args)throws Exception { ZooKeeper zk=new ZooKeeper("10.2.143.5:2181", 5000, new Watcher() { CountDownLatch down=new CountDownLatch(1);//同步阻塞状态 @Override public void process(WatchedEvent event) { if(event.getState()==Event.KeeperState.SyncConnected){ down.countDown();//连接上之后,释放计数器 } } }); System.out.println("连接成功:" zk.toString()); zk.close();//关闭连接 } }
打印效果如下:
连接成功:State:CONNECTING sessionid:0x0 local:null remoteserver:null lastZxid:0 xid:1 sent:0 recv:0 queuedpkts:0 pendingresp:0 queuedevents:0
转自:http://qindongliang.iteye.com/blog/1985242
相关问答
更多-
昆明那里有仙4买[2022-01-04]
仙剑系列昆明全部经销地址: 昆明黑马总店 圆通北路84号 南平店 南平街新华书店2楼 威豪软件联想1+1专卖店 昆明市圆通北路8号 民院电脑城店 昆明市大街圆西南民院电脑城一楼B6号 新闻书城批发专卖 昆明市新闻路441号(图书批发城对面) 连邦圆西店 昆明市圆通北路110号 昆明创想软件 昆明市民航路669号 昆明真友软件 昆明市人民中路如意巷9号附1号 昆明云报书刊发行有限公司 新闻路图书批发市场1-3号 昆明开恩达软件技术服务公司 昆明市圆通北路4号 宜良维特科技公司 昆明宜良政府东大门 昆明科星软件 ... -
基于JAVA平台三种分布式体系结构??[2019-03-03]
如手机游戏;S 开发模式,学这个方向 需要会的内容很多,手机界面等等,此方向不错 在国内也算是个缺口比较大的行业了,随着科技的发展此方向优势会 慢慢显现出来. j2ee 是目前java的最大优势所在,因为java本身开源所以发展日新月异 大型企业级应用,电子商务等等,非朝夕能学会的j2se j2me j2ee j2se 是java的基础知识 部分C/S构架的软件和可视化开发软件 如大型OA ERP 各种小游戏等都是 j2se 做的.因为JAVA本身是 解释性语言在做这方面的软件上没有优势可言. j2me 是 ... -
mysql如何做成分布式?[2023-11-14]
Mysql本身支持”复制“功能,可以将整个数据库的全部或部分实时同步到另外的服务器上。应用程序通过智能算法,可以同时使用这些数据库,如果其中一个故障,可以做到应用程序继续运行。 这里面的技术也挺多,你搜一下”Mysql 复制“,”mysql 双MASTER",有很多资料的。 ----------------------------------- 呵呵,放松,一切都会好起来的! -
zookeeper怎么实现分布式锁[2022-06-01]
1. 利用节点名称的唯一性来实现共享锁 ZooKeeper抽象出来的节点结构是一个和unix文件系统类似的小型的树状的目录结构。ZooKeeper机制规定:同一个目录下只能有一个唯一的文件名。例如:我们在Zookeeper目录/test目录下创建,两个客户端创建一个名为Lock节点,只有一个能够成功。 算法思路: 利用名称唯一性,加锁操作时,只需要所有客户端一起创建/test/Lock节点,只有一个创建成功,成功者获得锁。解锁时,只需删除/test/Lock节点,其余客户端再次进入竞争创建节点,直到所有客户 ... -
hadoop伪分布式安装怎么用虚拟机开启三台服务器[2022-03-04]
1.修改hadoop目录下的conf/hdfs-site.xml文件下dfs.replication属性为3。 dfs.replication 3 dfs.data.dir /hadoop/data 2.修改地址解析文件/etc/hosts,加入形如 192.168.137.110 master 192.168.137.111 slave1 192.168.137.112 slave23.其他重要配置文件core-site.xml/mapred-site.xml等修改相应属性。 4.把hadoop目 ... -
什么是分布式系统?[2022-11-11]
一、DFS为何物? DFS 即微软分布式文件系统的简称,系统管理员可以利用它来有效的整合网络资源,并把这些资源以单一的层次结构呈现给网络用户。管理员利用它可以把资源发布成一 个树形结构,这样大大简化了为用户进行资源配置和对资源管理的工作量。我们可以在不同的机器上调整和移动文件,这不会影响到用户的访问。 二、为什么要使用DES? 1、DFS使用了现有网络中的Share权限,管理员不必进行新的配置 2、通过一个DFS树形结构用户就可以访问多个网络资源,而不用再把远程驱动器映射到本地共享资源中。 3、DFS可以配 ... -
什么是分布式系统?[2024-03-23]
分布式系统(distributed system)是建立在网络之上的软件系统。正是因为软件的特性,所以分布式系统具有高度的内聚性和透明性。因此,网络和分布式系统之间的区别更多的在于高层软件(特别是操作系统),而不是硬件。内聚性是指每一个数据库分布节点高度自治,有本地的数据库管理系统。透明性是指每一个数据库分布节点对用户的应用来说都是透明的,看不出是本地还是远程。在分布式数据库系统中,用户感觉不到数据是分布的,即用户不须知道关系是否分割、有无复本、数据存于哪个站点以及事务在哪个站点上执行等。 故名思义,分布式 ... -
三层架构与分布式开发有何区别???[2022-04-01]
简单的问题复杂化。简单说三层架构只是一种标准。用什么模式开发都是根据当时项目的需求,包括外部环境。业务逻辑上来的。不一定非要用三层或者分布式。要是贯彻三层的概念我现在的项目就用到了9层。另外分布式是为了处理某些方面的压力,使压力分散开。也不是必要的。还是看情况。 -
什么是分布式缓存?(What is a distributed cache?)[2023-03-16]
是的,服务器a上的一半数据,服务器b上的一半是分布式缓存。 有许多分发数据的方法,尽管某些键的散列似乎是最受欢迎的。 术语服务器和节点通常是可互换的。 节点通常是某些集合的单个单元,通常称为集群。 服务器通常是单个硬件。 在erlang中,您可以在单个服务器上运行erlang运行时的多个实例,因此您将拥有多个erlang节点,但通常您希望每个服务器有一个节点以获得更优化的调度。 (对于非分布式语言和平台,您必须根据需要管理流程。) 如果服务器关闭,并且它是缓存服务器,则数据必须来自其原始源。 EG:缓存通常 ... -
尝试使用命令行参数的正确顺序。 我认为错误信息很有启发性。 hadoop jar my_jar.jar classname -libjars JTS.jar inputFiles outputFiles In a different effort, I tried to follow this link. 1) I copied the Jar library to hadoop using: hadoop fs -copyFromLocal JTS.jar /someHadoopFolder/JTS.j ...