知识点
相关文章
更多最近更新
更多分布式助手Zookeeper(五) - 三劫散仙
2019-03-14 22:52|来源: 网路
散仙在上篇文章分享了关于使用zookeeper来完成配置同步的功能,那么本篇,散仙依旧是模拟实现一个基于zookeeper怎么解决单点故障的案例。
单点故障问题,在分布式系统中是一个很有可能发生的场景,比如说在Hadoop2.x之前的HDFS的NameNode和MapReduce的JobTracker的单点故障,当然这个问题已经在Hadoop2.x中得到解决,解决的方式,大部分是基于Zookeeper来实现的。另外一个例子,在Hbase中的Hmaster的单点问题,也是使用Zookeeper解决的。
下面,我们先来看下,简单的实现图:
总结流程如下:
代码,如下:
散仙起了,3个客户端,作为模拟Slave,本机上的一个eclipse,一个Myeclipse,和服务器上的一个Myeclipse来实现,模拟单点故障,自动切换的功能。
初始状态截图如下:
散仙停掉,2的监听后发生的变化,如下:
最后,散仙停掉A节点的Master,模拟Master宕机。
到此,散仙已经模拟实现了主从单点故障的自动切换,使用Zookeeper可以非常简单可靠的来完成这个功能,当然,我们在这里只是模拟的简单实现,真正的单点问题的实现,肯定要比散仙的这个要复杂的多,在这里只是提供给大家一个解决的思路。
最后,感谢各位道友能够坚持看完,文章若有不足之处,欢迎指正交流!
单点故障问题,在分布式系统中是一个很有可能发生的场景,比如说在Hadoop2.x之前的HDFS的NameNode和MapReduce的JobTracker的单点故障,当然这个问题已经在Hadoop2.x中得到解决,解决的方式,大部分是基于Zookeeper来实现的。另外一个例子,在Hbase中的Hmaster的单点问题,也是使用Zookeeper解决的。
下面,我们先来看下,简单的实现图:
总结流程如下:
序号 | 描述 |
1 | 创捷父节点类型为Persistent |
2 | 创捷子节点类型为ephemeral sequential |
3 | 客户端启动时创建子节点 |
4 | 序列号最小的子节点选为master,其他子节点都是slave |
5 | 每个slave侦听序列号比它小的子节点中最大的子节点的NodeDeleted事件 |
6 | 一旦NodeDeleted事件被触发,该slave客户端会重新选定侦听对象,如果不存在可侦听对象,该slave自动晋升成master |
代码,如下:
package com.automicswitch; import java.nio.charset.Charset; import java.nio.charset.StandardCharsets; import java.text.SimpleDateFormat; import java.util.Collections; import java.util.Date; import java.util.List; import java.util.concurrent.CountDownLatch; import org.apache.zookeeper.CreateMode; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.Watcher; import org.apache.zookeeper.ZooDefs.Ids; import org.apache.zookeeper.ZooKeeper; import org.apache.zookeeper.data.Stat; import com.util.ConnectionWatcher; /** * 模拟Zookeeper实现单点故障 * 自动切换 * @author 秦东亮 * * ***/ public class Slave implements Watcher{ /** * zk实例 * **/ public ZooKeeper zk; /** * 同步工具 * * **/ private CountDownLatch count=new CountDownLatch(1); private static final Charset CHARSET=StandardCharsets.UTF_8; public Slave() { // TODO Auto-generated constructor stub } /** * hosts, * zookeeper的访问地址 * * **/ public Slave(String hosts) { try{ zk=new ZooKeeper(hosts, 7000, new Watcher() { @Override public void process(WatchedEvent event) { // TODO Auto-generated method stub if(event.getState()==Event.KeeperState.SyncConnected){ count.countDown(); } } }); }catch(Exception e){ e.printStackTrace(); } } /*** * * 此方法是写入数据 * 如果不存在此节点 * 就会新建,已存在就是 * 更新 * * **/ public void write(String path,String value)throws Exception{ Stat stat=zk.exists(path, false); if(stat==null){ zk.create(path, value.getBytes(CHARSET), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); }else{ zk.setData(path, value.getBytes(CHARSET), -1); } } public String read(String path,Watcher watch)throws Exception{ byte[] data=zk.getData(path, watch, null); return new String(data,CHARSET); } SimpleDateFormat f=new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); public void automicSwitch()throws Exception{ System.out.println("Master故障,Slave自动切换......., 时间 " f.format(new Date())); } public void startMaster(){ System.out.println("A的Master 启动了........"); } public void createPersist()throws Exception{ zk.create("/a", "主节点".getBytes(), Ids.OPEN_ACL_UNSAFE , CreateMode.PERSISTENT); System.out.println("创建主节点成功........"); } public void createTemp()throws Exception{ zk.create("/a/b", "a".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL); System.out.println("a创建子节点成功..........."); } public void check()throws Exception{ List<String> list=zk.getChildren("/a", null); Collections.sort(list); if(list.isEmpty()){ System.out.println("此父路径下面没有节点"); }else{ String start=list.get(0); String data=new String(zk.getData("/a/" start, false,null)); if(data.equals("a")){//等于本身就启动作为Master if(list.size()==1){ startMaster();//作为Master启动 }else{ automicSwitch(); } }else{ //非当前节点 for(int i=0;i<list.size();i ){ //获取那个节点存的此客户端的模拟IP String temp=new String(zk.getData("/a/" list.get(i), false, null)); if(temp.equals("a")){ //因为前面作为首位判断,所以这个出现的位置不可能是首位 //需要监听小节点里面的最大的一个节点 String watchPath=list.get(i-1); System.out.println("a监听的是: " watchPath); zk.exists("/a/" watchPath, this);//监听此节点的详细情况 break;//结束循环 } } } } } public void close()throws Exception{ zk.close(); } @Override public void process(WatchedEvent event) { if(event.getType()==Event.EventType.NodeDeleted){ //如果发现,监听的节点,挂掉了,那么就重新,进行监听 try{ System.out.println("注意有节点挂掉,重新调整监听策略........"); check(); }catch(Exception e){ e.printStackTrace(); } } } public static void main(String[] args)throws Exception { Slave s=new Slave("10.2.143.5:2181"); //s.createPersist();//创建主节点 s.createTemp(); s.check(); Thread.sleep(Long.MAX_VALUE); s.close(); } }
散仙起了,3个客户端,作为模拟Slave,本机上的一个eclipse,一个Myeclipse,和服务器上的一个Myeclipse来实现,模拟单点故障,自动切换的功能。
初始状态截图如下:
散仙停掉,2的监听后发生的变化,如下:
最后,散仙停掉A节点的Master,模拟Master宕机。
到此,散仙已经模拟实现了主从单点故障的自动切换,使用Zookeeper可以非常简单可靠的来完成这个功能,当然,我们在这里只是模拟的简单实现,真正的单点问题的实现,肯定要比散仙的这个要复杂的多,在这里只是提供给大家一个解决的思路。
最后,感谢各位道友能够坚持看完,文章若有不足之处,欢迎指正交流!
转自:http://qindongliang.iteye.com/blog/1985787
相关问答
更多-
分布式锁用zookeeper还是redis好[2023-10-04]
1. 不能重入 2. 没有本地锁,并发性能会比较差,不使用用在并发争锁较多的场景下。本地锁非自旋 3. 未考虑锁等待排序. 这个是redis很难实现的. 可以通过redis的list实现,但缺点是list下每个子节点无超时时间. redis也无法进行模糊查询 key*. 故还是通过zookeeper实现比较好. 但zookeeper 会遇到性能瓶颈,我们线下的就出现了,经常注册不上的情况. zookeeper原理是临时节点 -
mysql如何做成分布式?[2023-11-14]
Mysql本身支持”复制“功能,可以将整个数据库的全部或部分实时同步到另外的服务器上。应用程序通过智能算法,可以同时使用这些数据库,如果其中一个故障,可以做到应用程序继续运行。 这里面的技术也挺多,你搜一下”Mysql 复制“,”mysql 双MASTER",有很多资料的。 ----------------------------------- 呵呵,放松,一切都会好起来的! -
zookeeper怎么实现分布式锁[2022-06-01]
1. 利用节点名称的唯一性来实现共享锁 ZooKeeper抽象出来的节点结构是一个和unix文件系统类似的小型的树状的目录结构。ZooKeeper机制规定:同一个目录下只能有一个唯一的文件名。例如:我们在Zookeeper目录/test目录下创建,两个客户端创建一个名为Lock节点,只有一个能够成功。 算法思路: 利用名称唯一性,加锁操作时,只需要所有客户端一起创建/test/Lock节点,只有一个创建成功,成功者获得锁。解锁时,只需删除/test/Lock节点,其余客户端再次进入竞争创建节点,直到所有客户 ... -
分布式锁用zookeeper还是redis好[2022-12-29]
1. 不能重入 2. 没有本地锁,并发性能会比较差,不使用用在并发争锁较多的场景下。本地锁非自旋 3. 未考虑锁等待排序. 这个是redis很难实现的. 可以通过redis的list实现,但缺点是list下每个子节点无超时时间. redis也无法进行模糊查询 key*. 故还是通过zookeeper实现比较好. 但zookeeper 会遇到性能瓶颈,我们线下的就出现了,经常注册不上的情况. zookeeper原理是临时节点 -
分布式独占锁机制[2022-06-17]
当需要获取共享锁是,所有客户端到/shared_lock节点下面创建一个临时顺序节点,/shared_lock/[hostname]-请求类型(W | R)-序号,该节点代编了一个共享锁。 如果是读请求,则创建/shared_lock/192.168.0.1-R-000000000001; 如果是写请求,则创建/shared_lock/192.168.0.1-W-000000000001; -
分布式架构现在很火吗?zookeeper dubbo可以[2022-03-15]
分布式架构是架构设计的基础,也叫集群架构。 主要目的是为了避免服务的单节点和将请求均衡分布给多台机器。 -
什么是分布式系统?[2022-11-11]
一、DFS为何物? DFS 即微软分布式文件系统的简称,系统管理员可以利用它来有效的整合网络资源,并把这些资源以单一的层次结构呈现给网络用户。管理员利用它可以把资源发布成一 个树形结构,这样大大简化了为用户进行资源配置和对资源管理的工作量。我们可以在不同的机器上调整和移动文件,这不会影响到用户的访问。 二、为什么要使用DES? 1、DFS使用了现有网络中的Share权限,管理员不必进行新的配置 2、通过一个DFS树形结构用户就可以访问多个网络资源,而不用再把远程驱动器映射到本地共享资源中。 3、DFS可以配 ... -
什么是分布式系统?[2024-03-23]
分布式系统(distributed system)是建立在网络之上的软件系统。正是因为软件的特性,所以分布式系统具有高度的内聚性和透明性。因此,网络和分布式系统之间的区别更多的在于高层软件(特别是操作系统),而不是硬件。内聚性是指每一个数据库分布节点高度自治,有本地的数据库管理系统。透明性是指每一个数据库分布节点对用户的应用来说都是透明的,看不出是本地还是远程。在分布式数据库系统中,用户感觉不到数据是分布的,即用户不须知道关系是否分割、有无复本、数据存于哪个站点以及事务在哪个站点上执行等。 故名思义,分布式 ... -
三层架构与分布式开发有何区别???[2022-04-01]
简单的问题复杂化。简单说三层架构只是一种标准。用什么模式开发都是根据当时项目的需求,包括外部环境。业务逻辑上来的。不一定非要用三层或者分布式。要是贯彻三层的概念我现在的项目就用到了9层。另外分布式是为了处理某些方面的压力,使压力分散开。也不是必要的。还是看情况。 -
什么是分布式缓存?(What is a distributed cache?)[2023-03-16]
是的,服务器a上的一半数据,服务器b上的一半是分布式缓存。 有许多分发数据的方法,尽管某些键的散列似乎是最受欢迎的。 术语服务器和节点通常是可互换的。 节点通常是某些集合的单个单元,通常称为集群。 服务器通常是单个硬件。 在erlang中,您可以在单个服务器上运行erlang运行时的多个实例,因此您将拥有多个erlang节点,但通常您希望每个服务器有一个节点以获得更优化的调度。 (对于非分布式语言和平台,您必须根据需要管理流程。) 如果服务器关闭,并且它是缓存服务器,则数据必须来自其原始源。 EG:缓存通常 ...