实战: SOLR的分布式部署(复制)CollectionDistribute 快照分发 (一)

2019-03-27 01:01|来源: 网路

网上有很多SOLR的文章,但是大多都是翻译自SOLR的官方WIKI,尤其是对分布式说的较含糊,在部署过程中,出现很多问题,令人摸不着头脑,下面就有些我遇到的情况及解决方案作下描述,希望对大家有用。

      SOLR复制模式下分布式应用的基本原理:

     SOLR主要通过SHELL脚本与SOLR的相互协调完成快照在主服务器与辅服务器下的同步完成,该脚本位于:SOLR的安装目录: Solr\apps\src\scripts。

     首先先讲下参与分发的各个模块的组成:

  • snapshooter(MASTER) 快照触发生成脚本

    由 主服务器负责被动生成,触发机制为:SOLR的RunExecutableListener(配置通过conf下的solrconfig.xml,然后查 找“postCommit”)监听到客户端COMMIT事件,则调用外部命令:snapshooter(默认配置会有问题),在制定目录生成快照文件(一 组索引数据)

  • rsyncd-start,disable,enable (master)RSYNC同步脚本

     由主服务器通过初始化人工手动执行,开启RSYNC服务。

  •  

    snappuller and snapinstaller   (salve) 快照获取和安装模块

     由辅服务器通过系统CRON定时执行,官方默认每5分钟执行一次。在此过程中,snappuller通过RSYNC命令将主服务器生成的快照拉回本地机 器,并且通过snapinstaller将快照安装至主索引,并同时通知SOLR初始化IndexReader,至此快照同步至辅服务器完毕。

 

  • snapcleaner   (master+slave) 快照清理脚本

     后期维护工作通过快照清理脚本完成,主服务器与辅服务器各自安装,通过系统CRON定时执行,官方默认每7天清理一次。


转自:http://www.cnblogs.com/wycg1984/archive/2010/03/09/1681348

相关问答

更多
  • 一、前期准备 1、MySQL数据库的安装:MySQL-5.6.22,自行安装 2、Dubbo视频教程--基础篇--第03节--ZooKeeper注册中心安装 3、Dubbo视频教程--基础篇--第06节--Dubbo管理控制台的安装 4、Dubbo视频教程--基础篇--第10节--Dubbo监控中心的介绍与简易监控中心的安装 5、持续集成管理平台(SVN、Nexus、Maven、Hudson)的安装: Dubbo视频教程--基础篇--第11节至18节 6、Dubbo视频教程--高级篇--第21节--Acti ...
  • 一、前期准备 1、MySQL数据库的安装:MySQL-5.6.22,自行安装 2、Dubbo视频教程--基础篇--第03节--ZooKeeper注册中心安装 3、Dubbo视频教程--基础篇--第06节--Dubbo管理控制台的安装 4、Dubbo视频教程--基础篇--第10节--Dubbo监控中心的介绍与简易监控中心的安装 5、持续集成管理平台(SVN、Nexus、Maven、Hudson)的安装: Dubbo视频教程--基础篇--第11节至18节 6、Dubbo视频教程--高级篇--第21节--Acti ...
  • 推荐你看看老夫子老师的《基于QT平台的手持媒体播放器项目实战(madplay交叉编译、进程通信、移植)》这套视频教程挺不错的,我把下载地址给你http://kuai.xunlei.com/d/xmBrD7gsk8zAUgQAbdb
  • 这个东西你可以到金蝶官网去看看啊 应该都有的 或者金蝶论坛 武汉金蝶 http://www.whtaylorsoft.com/
  • 1、什么是数据中心分布式部署 数据中心分布式部署,边缘数据中心是基础,是CDN的更下一层,服务对象是IDC及CDN需求的客户。对于流量大的客户,可多点分布,就近部署。 2、分布式部署的好处 A:在全国没有任何一个数据中心可以覆盖全国的每个角落,数据中心集中在一个点不能更好的服务全国各区域。分布式部署相当于在欧洲很多个国家之间的互联网关系。二三线城市就近布点,三级城市网络品质提升。针对网游、网络视频、网络下载等全国分布节点需求较高的客户,选择分布式节点托管在降低成本的同时还更好的保障了二、三级城市业务的网络运 ...
  • JQuery实战下载[2021-12-08]

    买本吧,这本书很多时候用来查的。而且你如果真想学JQUERY的话,买这本书值的。去淘宝看看一般有7~8折。
  • 虽然我在这里遇到了一个老问题,但我迟到了一点。 答案是Solr Cloud在内部处理复制。 Solr Cloud wiki页面详细解释了这一点。 如果你设置了numShards = 2并添加更多的服务器(这样你总共有四个),分片将被复制到新的服务器 - 确保你的分片位于多个节点上。 直接回答你的问题; SolrCloud为你做了复制设置和逻辑,你应该让它做它自己的事情,而不是在混合中引入“手动”设置复制。 SolrCloud的重点在于隐藏复制和共享逻辑,允许您在可用时简单添加更多服务器。 当然,您可以创建逻 ...
  • 简单的解决方案是配置请求处理程序以使用不变量来运行分布式查询。 即使spark-solr试图在查询时间内改变它,该变量也会强制distrib参数具有true值。 通过在solrconfig.xml中的请求处理程序条目的定义下添加以下几行可以引入不变量: true 虽然引入不变量将会解决问题,但我认为这是一种彻底的解决方案。 这是因为解决方案涉及隐藏一个行为,在该行为中,您将参数值重载。 ...
  • 你所做的是对的。 如果您在freenode上的#gluster或gluster-users@gluster.org上询问gluster相关问题,您可能会得到更快的回复 What you've done is right. You might get faster responses if you ask gluster related questions on #gluster on freenode or gluster-users@gluster.org
  • 这通常不是Hazelcast的用例,因此即使您使用单节点群集,您也可能无法获得预期的性能,因为Hazelcast始终会对数据进行序列化。 您可能想看看Google Guava,因为它可能更适合。 This is normally not a Hazelcast usecase, so even if you use a one-node-cluster you probably won't get the expected performance, since Hazelcast always serial ...