分布式助手Zookeeper(四) - 三劫散仙

2019-03-14 22:52|来源: 网路

Zookeeper是分布式环境下一个重要的组件,因为它能在分布式环境下,给我带来很多便利,大大简化了分布式编程的复杂性,本篇散仙将给出一个模拟例子,来演示下如何使用Zookeeper的API编程,来完成分布式环境下配置的同步。大家都知道在一个中大型的规模的集群中,配置文件通常是必不可少的的东西,很多时候,我都需要将在Master上配置好的配置文件,给分发到各个Slave上,以确保整体配置的一致性,在集群规模小的时候我们可能简单的使用远程拷贝或复制即可完成,但是,当集群规模越来越大的时候,我们发现这种方式不仅繁琐,而且容易出错,最要命的是,以后如果改动配置文件的很少一部分的东西,都得需要把所有的配置文件,给重新远程拷贝覆盖一次,那么,怎样才能避免这种牵一发而动全身的事情呢?


事实上,利用Zookeeper,就能够很容易的,高可靠的帮我们完成这件事,我们只需要把配置文件保存在Zookeeper的znode里,然后通过Watch来监听数据变化,进而帮我们实现同步。一个简单的工作图如下所示:



总结流程如下:
序号 实现
1 启动ZK集群
2 客户端在ZK创建一个znode,并写入数据
3 启动各个Server上的Watcher,无限休眠
4 客户端更新znode里数据
5 Watcher的read方法发现数据更新,下拉至本地,更新本地数据


代码如下:
package com.sanjiesanxian;

import java.util.concurrent.CountDownLatch;

import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.ZooDefs.Ids;
import org.apache.zookeeper.data.Stat;


/***
 * Zookeeper实现分布式配置同步
 * 
 * @author 秦东亮
 * 
 * ***/
public class SyscConfig   implements Watcher{
	
	//Zookeeper实例
	private ZooKeeper zk;
	private CountDownLatch countDown=new CountDownLatch(1);//同步工具
	private static final int TIMIOUT=5000;//超时时间
	private static final String PATH="/sanxian";
	public SyscConfig(String hosts) {
		 
	try{
		zk=new ZooKeeper(hosts, TIMIOUT, new Watcher() {
			
			@Override
			public void process(WatchedEvent event) {
				 
				if(event.getState().SyncConnected==Event.KeeperState.SyncConnected){
					//防止在未连接Zookeeper服务器前,执行相关的CURD操作
					countDown.countDown();//连接初始化,完成,清空计数器
				}
				
			}
		});
		
	}catch(Exception e){
		e.printStackTrace();
	}
	}
	
	
	
	/***
	 * 写入或更新
	 * 数据
	 * @param path 写入路径
	 * @param value 写入的值
	 * **/
  public void addOrUpdateData(String path,String data)throws Exception {
	  
	  
	  Stat stat=zk.exists(path, false);
	  if(stat==null){
            //没有就创建,并写入		
		  zk.create(path, data.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
	  System.out.println("新建,并写入数据成功.. ");
	  }else{  
		  //存在,就更新
		  zk.setData(path, data.getBytes(), -1);
		  System.out.println("更新成功!");
	  }
  }
  
  /**
   * 读取数据
   * @param path 读取的路径
   * @return 读取数据的内容
   * 
   * **/
  public String readData()throws Exception{
	  
	  String s=new String(zk.getData(PATH, this, null));
	  
	return s;  
  }
	
	
	/**
	 * 关闭zookeeper连接
	 * 释放资源
	 * 
	 * **/
	public void close(){
		
		try{
			
			zk.close();
		}catch(Exception e){
			e.printStackTrace();
		}
		
	}

 
public static void main(String[] args)throws Exception {
	
	SyscConfig conf=new SyscConfig("10.2.143.5:2181");
	 
	  conf.addOrUpdateData(PATH, "修真天劫,九死一生。");
	  conf.addOrUpdateData(PATH, "圣人之下,皆为蝼蚁,就算再大的蝼蚁,还是蝼蚁.");
	 conf.addOrUpdateData(PATH, "努力奋斗,实力才是王道! ");
	
	//System.out.println("监听器开始监听........");
	// conf.readData();
	// Thread.sleep(Long.MAX_VALUE);
	//conf.readData();
	conf.close();
	
}

	@Override
	public void process(WatchedEvent event){
		 try{
		if(event.getType()==Event.EventType.NodeDataChanged){
			System.out.println("变化数据:  " readData());
		}
		 }catch(Exception e){
			 e.printStackTrace();
		 }
		
	}
}

模拟客户端输出如下:
	
//客户端监听代码
SyscConfig conf=new SyscConfig("10.2.143.5:2181");
	 
	  conf.addOrUpdateData(PATH, "修真天劫,九死一生。");
	  conf.addOrUpdateData(PATH, "圣人之下,皆为蝼蚁,就算再大的蝼蚁,还是蝼蚁.");
	 conf.addOrUpdateData(PATH, "努力奋斗,实力才是王道! ");
	
	//System.out.println("监听器开始监听........");
	// conf.readData();
	// Thread.sleep(Long.MAX_VALUE);
	//conf.readData();
	conf.close();

更新成功!
更新成功!
更新成功!

模拟服务端输出如下:

public static void main(String[] args)throws Exception {
	//服务端监听代码
	SyscConfig conf=new SyscConfig("10.2.143.36:2181");
	//conf.addOrUpdateData(PATH, "");
	System.out.println("模拟服务监听器开始监听........");
	 conf.readData();
	 Thread.sleep(Long.MAX_VALUE);
	conf.close();
	
}

模拟服务监听器开始监听........
数据更新了:  修真天劫,九死一生。
数据更新了:  圣人之下,皆为蝼蚁,就算再大的蝼蚁,还是蝼蚁.
数据更新了:  努力奋斗,实力才是王道! 



至此,使用zookeeper来完成配置同步的服务就完成了,我们可以发现,使用zookeeper来编写分布式程序是非常简单可靠的。


  • 大小: 48.8 KB

转自:http://qindongliang.iteye.com/blog/1985661

相关问答

更多
  •   1. 不能重入   2. 没有本地锁,并发性能会比较差,不使用用在并发争锁较多的场景下。本地锁非自旋   3. 未考虑锁等待排序. 这个是redis很难实现的.   可以通过redis的list实现,但缺点是list下每个子节点无超时时间. redis也无法进行模糊查询 key*.   故还是通过zookeeper实现比较好. 但zookeeper 会遇到性能瓶颈,我们线下的就出现了,经常注册不上的情况.   zookeeper原理是临时节点   
  • Mysql本身支持”复制“功能,可以将整个数据库的全部或部分实时同步到另外的服务器上。应用程序通过智能算法,可以同时使用这些数据库,如果其中一个故障,可以做到应用程序继续运行。 这里面的技术也挺多,你搜一下”Mysql 复制“,”mysql 双MASTER",有很多资料的。 ----------------------------------- 呵呵,放松,一切都会好起来的!
  • 1. 利用节点名称的唯一性来实现共享锁 ZooKeeper抽象出来的节点结构是一个和unix文件系统类似的小型的树状的目录结构。ZooKeeper机制规定:同一个目录下只能有一个唯一的文件名。例如:我们在Zookeeper目录/test目录下创建,两个客户端创建一个名为Lock节点,只有一个能够成功。 算法思路: 利用名称唯一性,加锁操作时,只需要所有客户端一起创建/test/Lock节点,只有一个创建成功,成功者获得锁。解锁时,只需删除/test/Lock节点,其余客户端再次进入竞争创建节点,直到所有客户 ...
  • 1. 不能重入   2. 没有本地锁,并发性能会比较差,不使用用在并发争锁较多的场景下。本地锁非自旋   3. 未考虑锁等待排序. 这个是redis很难实现的.   可以通过redis的list实现,但缺点是list下每个子节点无超时时间. redis也无法进行模糊查询 key*.   故还是通过zookeeper实现比较好. 但zookeeper 会遇到性能瓶颈,我们线下的就出现了,经常注册不上的情况.   zookeeper原理是临时节点
  • 当需要获取共享锁是,所有客户端到/shared_lock节点下面创建一个临时顺序节点,/shared_lock/[hostname]-请求类型(W | R)-序号,该节点代编了一个共享锁。 如果是读请求,则创建/shared_lock/192.168.0.1-R-000000000001; 如果是写请求,则创建/shared_lock/192.168.0.1-W-000000000001;
  • 分布式架构是架构设计的基础,也叫集群架构。 主要目的是为了避免服务的单节点和将请求均衡分布给多台机器。
  • 一、DFS为何物? DFS 即微软分布式文件系统的简称,系统管理员可以利用它来有效的整合网络资源,并把这些资源以单一的层次结构呈现给网络用户。管理员利用它可以把资源发布成一 个树形结构,这样大大简化了为用户进行资源配置和对资源管理的工作量。我们可以在不同的机器上调整和移动文件,这不会影响到用户的访问。 二、为什么要使用DES? 1、DFS使用了现有网络中的Share权限,管理员不必进行新的配置 2、通过一个DFS树形结构用户就可以访问多个网络资源,而不用再把远程驱动器映射到本地共享资源中。 3、DFS可以配 ...
  • 分布式系统(distributed system)是建立在网络之上的软件系统。正是因为软件的特性,所以分布式系统具有高度的内聚性和透明性。因此,网络和分布式系统之间的区别更多的在于高层软件(特别是操作系统),而不是硬件。内聚性是指每一个数据库分布节点高度自治,有本地的数据库管理系统。透明性是指每一个数据库分布节点对用户的应用来说都是透明的,看不出是本地还是远程。在分布式数据库系统中,用户感觉不到数据是分布的,即用户不须知道关系是否分割、有无复本、数据存于哪个站点以及事务在哪个站点上执行等。 故名思义,分布式 ...
  • 简单的问题复杂化。简单说三层架构只是一种标准。用什么模式开发都是根据当时项目的需求,包括外部环境。业务逻辑上来的。不一定非要用三层或者分布式。要是贯彻三层的概念我现在的项目就用到了9层。另外分布式是为了处理某些方面的压力,使压力分散开。也不是必要的。还是看情况。
  • 是的,服务器a上的一半数据,服务器b上的一半是分布式缓存。 有许多分发数据的方法,尽管某些键的散列似乎是最受欢迎的。 术语服务器和节点通常是可互换的。 节点通常是某些集合的单个单元,通常称为集群。 服务器通常是单个硬件。 在erlang中,您可以在单个服务器上运行erlang运行时的多个实例,因此您将拥有多个erlang节点,但通常您希望每个服务器有一个节点以获得更优化的调度。 (对于非分布式语言和平台,您必须根据需要管理流程。) 如果服务器关闭,并且它是缓存服务器,则数据必须来自其原始源。 EG:缓存通常 ...