windows下单机版的伪分布式solrCloud环境搭建Tomcat+solr+zookeeper

2019-03-27 00:22|来源: 网路


前面简单了解了ZooKeeper的相关知识,为SolrCloud的学习作了一层铺垫。在SolrCloudwiki中,可以很简单地用jetty实现嵌入式ZooKeeper的单机版SolrCloud。但是在生产环境中,Solr一般都是部署在Tomcat上的。为了使架构更加灵活,ZooKeeper也是单独部署的。日常学习中,就一台单机怎么学习solrCloud呢?本文将记录在win7上实现ZooKeeper+Tomcat版的伪分布式SolrCloud


1、软件工具箱


在本文的实践中,需要用到以下的软件:  


solr-4.2.0.zip      zookeeper-3.4.6.tar.gz     apache-tomcat-6.037.tar.gz


都是apache旗下的软件,很容易在官网下载到,就不贴下载地址了。



2、部署过程


单机上的学习环境搭建大部分都是体力活,没有什么技术含量。不像生产环境,需要考虑到性能问题。


2.1 部署好单机版Tomcat+Solr


第一步:D盘根目录下建立solrCloud目录。并把apache-tomcat-6.037.tar.gz解压到solrCloud目录下,重命名为tomcat-server_1。把solr-4.2.0.zip解压,并把solr-4.2.0/example/目录下solr文件夹复制到solrCloud目录下,重命名为solr_home_1。如下图:


wKiom1NrDxnjNRTjAACN-PdkfrY609.jpg

第二步:solr-4.2.0\example\webapps\solr.war复制到tomcat-server_1/webapps目录下。


第三步:修改D:\solrCloud\tomcat-server_1\bin目录下的catalina.bat文件,里面加入tomcat的启动参数。

wKioL1NrDwrDEAnhAABEqO1QdEQ811.jpg

截图如下:


wKioL1NrDxby9CpwAAFpmoHquWI731.jpg


第四步:启动tomcat,并在浏览器中输入:http://localhost:8080/solr/ 验证是否配置成功。如果配置成功,浏览器的页面如下:


wKiom1NrD1ChePyFAAErOVH13Z8549.jpg


关于solr/home的设置,其实有三种方法:1、在solrweb.xml中设置,在tomcat启动时附带参数,还有就是本文的方法。



2.2 配置多Tomcat+solr同时运行


第一步:


tomcat-server_1复制2份,分别命名tomcat-server_2tomcat-server_3


solr_home_1复制2份,分别命名solr_home_2solr_home_3


最后的目录结构如下图:



wKioL1NrDzDhpmBBAADtVltmdkw864.jpg


第二步:


为了三个tomcat能够在一台机器上同时启动,需要修改tomcat的端口信息。修改方案如下:



Tomcat Admin Port


HTTP/1.1 Port


AJP/1.3  Port


tomcat-server_1


8005


8080


8009


tomcat-server_2


8015


8090


8019


tomcat-server_3


8025


8100


8029



修改位置在D:\solrCloud\tomcat-server_*\conf\server.xml里面。


Tomcat Admin Port:


wKioL1NrDz3T-TWYAACxbvJiUaw864.jpg


HTTP/1.1 Port


wKiom1NrD3GzaoHMAACAAlzHkQY468.jpg


AJP/1.3  Port


wKiom1NrD3yScytgAABiq0Z-ckk358.jpg


第三步:修改各个tomcat服务器catalina.bat文件里面的solrhome


tomcat-server_2修改成set JAVA_OPTS=-Dsolr.solr.home=D:/solrCloud/solr_home_2


tomcat-server_3修改成set JAVA_OPTS=-Dsolr.solr.home=D:/solrCloud/solr_home_3



第四步:验证修改是否成功,依次启动三个Tomcat。并在浏览器输入如下的URL


http://localhost:8080/solr/


http://localhost:8090/solr/


http://localhost:8100/solr/


如果都能正常访问到solradmin页面,那么说明配置是成功的。否则就需要检查哪里错了或者遗漏了。



2.3 配置ZooKeeper集群


这部分的内容与前面tomcat+solr是没有关联的,所以配置这里,可以跟忘记前面的内容。



第一步:解压zookeeper-3.4.6.tar.gzD:/solrCloud目录,重命名为zk-server_1


第二步:D:\solrCloud\zk-server_1\conf\目录下的zoo_sample.cfg修改为zoo.cfg。并写入如下的配置参数:


wKiom1NrD4rzP7OkAAFfqUKxN7I033.jpg


并且按照配置创建相应的datalogs目录。如果不不创建目录是无法正常启动的。在data目录中创建文件myid(不需要后缀名),在myid文件中写入数字1并保存退出。



第三步:zk-server_1复制2份,分别命名为zk-server_2zk-server_3。然后修改各个zk-serverconf目录下zoo.cfgdataDirdataLogDirclientPort。修改方案如下:



dataDir


dataLogDir


clientPort


zk-server_1/conf/zoo.cfg


D:/solrCloud/zk-server_1/data


D:/solrCloud/zk-server_1/logs


2181


zk-server_2/conf/zoo.cfg


D:/solrCloud/zk-server_2/data


D:/solrCloud/zk-server_2/logs


2182


zk-server_3/conf/zoo.cfg


D:/solrCloud/zk-server_3/data


D:/solrCloud/zk-server_3/logs


2183


并且修改每个data目录下的myid文件中的内容。zk-server_11zk-server_22zk-server_33



第四步:启动三个zk-server。并验证是否配置成功。我是在程序中验证的,程序代码见附录1。验证方法需参看我的另一篇博客。简而言之就是连接三台服务器的任意一台,创建结点,然后连接另外一台,取得结点的数据,如果能够取到,则说明配置是成功的。


注意:连接第一台时有异常信息,不用管,等都连接起来就没有异常了。


2.4 配置Tomcat+solr+zookeeper集群


前面tomcat+solr能够启动和访问了,而且zookeeper也能启动和访问了。接下来就需要把他们关联起来。


第一步:修改solr_home_*solr.xml配置信息,把hostPort分别修改成对应的tomcat端口。

solr_home_1/solr.xml

wKioL1NrD3PCCvd6AABbW_UhzV0155.jpg

solr_home_2/solr.xml

wKioL1NrD4LxgMHdAABcIiLCW7M838.jpg

solr_home_3/solr.xml

wKiom1NrD63QKMReAABVlW3nP04799.jpg


第二步:修改tomcat-server_*中的catalina.bat的参数信息。

tomcat-server_1参数信息如下


set JAVA_OPTS=-Dsolr.solr.home=D:/solrCloud/solr_home_1  

-Dbootstrap_confdir=D:/solrCloud/solr_home_1/collection1/conf -Dcollection.configName=myconf -DnumShards=2 -DzkHost=127.0.0.1:2181


tomcat-server_2的参数信息如下:

set JAVA_OPTS=-Dsolr.solr.home=D:/solrCloud/solr_home_2  -DzkHost=127.0.0.1:2181


tomcat-server_3的参数信息如下:

set JAVA_OPTS=-Dsolr.solr.home=D:/solrCloud/solr_home_3  -DzkHost=127.0.0.1:2181


第三步:先启动tomcat-server_1,然后启动其它的tomcat-server。启动完成后,在浏览器中输入:


http://localhost:8080/solr/#/~cloud

http://localhost:8090/solr/#/~cloud

http://localhost:8100/solr/#/~cloud


得到的页面都是一样的:

wKioL1NrD5TSLjTOAAB-1mLVCqk996.jpg


这样一个简单的solrCloud运行环境就搭建起来了。



附录1:

package zookeeper_learning;
import java.io.IOException;
import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooDefs.Ids;
import org.apache.zookeeper.ZooKeeper;
public class ZkClient {
    //创建 一个结点
    public static void create(ZooKeeper zk) throws KeeperException, InterruptedException{
        System.out.println("/n1. 创建 ZooKeeper 节点 (znode : zoo2, 数据: myData2 ,权限: OPEN_ACL_UNSAFE ,节点类型: Persistent");
        zk.create("/zoo2","myData2".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
                                                                                         
    }
    //修改结点信息
    public static void modify(ZooKeeper zk) throws KeeperException, InterruptedException{
        System.out.println("/n3. 修改节点数据 ");
        zk.setData("/zoo2", "shenlan211314".getBytes(), -1);
    }
    //查看结点信息
    public static void monitor(ZooKeeper zk) throws KeeperException, InterruptedException{
        System.out.println("/n4. 查看节点: ");
        System.out.println(new String(zk.getData("/zoo2", false, null)));
    }
    //查看结点是否存在
    public static void exist(ZooKeeper zk) throws KeeperException, InterruptedException{
        System.out.println("/n6. 查看节点是否被删除: ");
        System.out.println(" 节点状态: ["+zk.exists("/zoo2", false)+"]");
    }
    //删除一个结点
    public static void delete(ZooKeeper zk) throws InterruptedException, KeeperException{
        System.out.println("/n5. 删除节点 ");
        zk.delete("/zoo2", -1);
    }
                                                                                         
    public static ZooKeeper connect(String host) throws IOException{
        return new ZooKeeper(host, 3000, new Watcher(){
            @Override
            public void process(WatchedEvent arg0) {
                System.out.println("watch "+arg0);
            }
        });
    }
                                                                                         
    public static void main(String[] args) {
        try {
            ZooKeeper zk1=connect("0.0.0.0:2181");
            create(zk1);
            //modify(zk1);
            zk1.close();
            ZooKeeper zk2=connect("0.0.0.0:2182");
            monitor(zk2);
            zk2.close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
                                                                                         
}








本文出自 “每天进步一点点” 博客,请务必保留此出处http://sbp810050504.blog.51cto.com/2799422/1408322


转自:http://sbp810050504.blog.51cto.com/2799422/1408322

相关问答

更多
  • DataTable dt = new DataTable(); dt.Columns.Add(new DataColumn("PreRevDate0", typeof(decimal))); DataColumn col = new DataColumn(); col.ColumnName = "PreRevDate1"; col.Expression = "ABS(Convert.ToInt32(PreRevDate0))"; col.DataType = typeof(decimal); dt.Colu ...
  • 1、能搭好环境说明水平还不错。 2、下边应该分以下几步走: 一,依据示例程序,自己手写wordcount之类的示例程序,以此充分了解m/r和hdfs的简单原理。 二,针对某些知识点,如hadoop应用场景、hadoop的简单应用等,去百度一下搞定,这样的问题最关键、最需要做的。 三,深入阅读hadoop的源码,把框架的数据流或说工作流搞个大致清楚。 四,试着用hadoop解决一些实际问题和项目应用。 参考下吧。
  • 1. 利用节点名称的唯一性来实现共享锁 2. ZooKeeper抽象出来的节点结构是一个和unix文件系统类似的小型的树状的目录结构。ZooKeeper机制规定:同一个目录下只能有一个唯一的文件名。例如:我们在Zookeeper目录/test目录下创建,两个客户端创建一个名为Lock节点,只有一个能够成功。 3. 算法思路: 利用名称唯一性,加锁操作时,只需要所有客户端一起创建/test/Lock节点,只有一个创建成功,成功者获得锁。解锁时,只需删除/test/Lock节点,其余客户端再次进入竞争创建节点, ...
  • 第一步: 安装JDK 因为 Hadoop 运行必须安装 JDK 环境,因此在安装好 Linux 后进入系统的第一步 便是安装 JDK ,安装过程和在 Windows 环境中的安装步骤很类似,首先去Oracle 官网 去下载安装包,然后直接进行解压。我自己解压在路径 /usr/jvm 下面,假如你的安装包现在已经下载在 jvm 文件夹下面,然后 按 Ctrl+Alt+t 进去命令行,然后输入 cd /usr/jvm 进入到jvm文件夹下面,然后再输入如下命令进行解压: sudo tar -zxvf jdk-7 ...
  • 搭建的文本,很久了,现在更新的最新版本搭建更加简单,建议你去看看黑马里边的教程,免费的
  • 可以,hadoop安装分为单机模式,伪分布式模式,完全分布式模式。你装成单机模式或者伪分布式模式就可以了。 单机模式:Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程
  • Spark和Hadoop是完全两种集群。Spark是分布式计算框架,Hadoop是分布式计算/存储/调度框架。Spark可以无缝访问存在HDFS上的数据。   所以两个集群如何搭建是没有关系的。Spark只关心如何访问HDFS,就是  hdfs://namenode:port/能访问就行。   当然Spark作业提交到YARN那是另外一回事了。
  • 可以的 但是网络状况要好 伪分布式你在阿里云买一台就可已搭集群呢
  • 我用过: CloudSolrServer solrServer; ... solrServer.getZkStateReader().getClusterState(); ... I used that: CloudSolrServer solrServer; ... solrServer.getZkStateReader().getClusterState(); ...
  • 只需按照群集设置指南操作: https://storm.apache.org/documentation/Setting-up-a-Storm-cluster.html 对于伪分布式设置,请在单台计算机中运行所有守护程序(ZK,Nimbus和一个单独的主管)。 Just follow the cluster setup guide: https://storm.apache.org/documentation/Setting-up-a-Storm-cluster.html For pseudo distri ...