zoukankan      html  css  js  c++  java
  • solr6.4.1搜索引擎(5)使用zookeeper3.4.9分布式集群

    本文讲的是如何使用zookeeper将solr分布式部署,也可以理解为tomcat分布式部署。
    为什么要使用zookeeper,请参考文章《Solr的SolrCloud与Master-slave主从模式对比》http://blog.csdn.net/jiangchao858/article/details/53363310
    尚未成功启动solr的,请看我的另一篇文章《solr6.4.1 搜索引擎(1)启动eclipse启动》http://www.cnblogs.com/zhuwenjoyce/p/6506359.html
    solr尚未首次同步数据库的,请看我的另一篇文章《solr6.4.1搜索引擎(2)首次同步mysql数据库》http://www.cnblogs.com/zhuwenjoyce/p/6512378.html
     
    软件安装准备
    1,安装JDK1.8
    2,下载zookeeper3.4.9
    zookeeper官方版本下载地址: http://apache.fayea.com/zookeeper/
    官方版本已经更新到zookeeper-3.5.2-alpha,但是是alpha内部测试版,所以我们下载一个稳定版本zookeeper-3.4.9就可以了
    http://apache.fayea.com/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz (22M)
    3,下载solr6.4.1地址:http://archive.apache.org/dist/lucene/solr/ (149M)
    4,下载tomcat8.0.28
    http://archive.apache.org/dist/tomcat/tomcat-8/v8.0.28/bin/apache-tomcat-8.0.28.zip
     
    一、solr集群准备
    我在本机上模拟多台机器上的solr集群,所以是伪集群,新建目录如下:
    D:\solr\solrCloud1 存放solr云的目录
    D:\solr\solrCloud1\conf 存放solr云配置文件的目录,把D:\solr\solr-6.4.1\server\solr\configsets\sample_techproducts_configs\conf该目录下所有配置文件移动到该目录下
    D:\solr\solrMachine1\ 代替原本需要真实集群的第一台机器目录
    D:\solr\solrMachine2\ 代替原本需要真实集群的第二台机器目录
     
    二、第一台机器集群准备
    1)添加一个tomcat,端口号为9080,D:\solr\solrMachine1\apache-tomcat-8.0.28-9080
    2)发布solr应用到该tomcat的webapp下,可以用war形式或者eclipse形式,可以参考我的文章《solr6.4.1 搜索引擎(1)启动eclipse启动》http://www.cnblogs.com/zhuwenjoyce/p/6506359.html
    3)添加一个solrhome : D:\solr\solrMachine1\solrhome
    4)修改D:\solr\solrMachine1\solrhome\solr.xml,把<int name="hostPort">${jetty.port:8983}</int>改为<int name="hostPort">${jetty.port:9080}</int>,因为solrhome的启动端口要与tomcat保持一致
    5)修改tomcat的webapps目录下的solr应用的WEB-INF/web.xml(D:\solr\solrMachine1\apache-tomcat-8.0.28-9080\webapps\solr),solrhome的目录修改如下:
    <env-entry>
    <env-entry-name>solr/home</env-entry-name>
    <env-entry-value>D:/solr/solrMachine1/solrhome</env-entry-value>
    <env-entry-type>java.lang.String</env-entry-type>
    </env-entry>
    6)修改tomcat的D:\solr\solrMachine1\apache-tomcat-8.0.28-9080\bin\catalina.bat设置,使之可以被zookeeper识别,在setlocal之后换行添加如下内容:
    set JAVA_OPTS=-Dbootstrap_confdir=D:/solr/solrCloud1/conf -Dcollection.configName=cloudconf -DzkHost=127.0.0.1:2181 -DnumShards=2
    参数说明
    -Dbootstrap_confdir 告诉zookeeper,solr云的配置文件存放目录在哪儿。PS: 主tomcat需要告诉zookeeper solr云的配置文件在哪儿
    -Dcollection.configName 自定义一个config的名字
    -DzkHost 告诉solr你的zookeeper部署在哪个IP上哪个端口
     
    三、第二台机器集群准备
    1)添加一个tomcat,端口号为9081,D:\solr\solrMachine2\apache-tomcat-8.0.28-9081
    2)发布solr应用到该tomcat的webapp下,可以用war形式或者eclipse形式,可以参考我的文章《solr6.4.1 搜索引擎(1)启动eclipse启动》http://www.cnblogs.com/zhuwenjoyce/p/6506359.html。我在这里偷了个懒,当我的第一个solr应用在eclipse里成功发布到tomcat下之后,我就在eclipse里面复制了一个solr项目,命名为solr2。
    3)添加一个solrhome : D:\solr\solrMachine2\solrhome
    4)修改D:\solr\solrMachine2\solrhome\solr.xml,把<int name="hostPort">${jetty.port:8983}</int>改为<int name="hostPort">${jetty.port:9081}</int>,因为solrhome的启动端口要与tomcat保持一致
    5)修改tomcat的webapps目录下的solr应用的WEB-INF/web.xml(D:\solr\solrMachine2\apache-tomcat-8.0.28-9081\webapps\solr2),solrhome的目录修改如下:
    <env-entry>
    <env-entry-name>solr/home</env-entry-name>
    <env-entry-value>D:/solr/solrMachine2/solrhome</env-entry-value>
    <env-entry-type>java.lang.String</env-entry-type>
    </env-entry>
    6)修改tomcat的D:\solr\solrMachine2\apache-tomcat-8.0.28-9081\bin\catalina.bat设置,使之可以被zookeeper识别,在setlocal之后换行添加如下内容:
    set JAVA_OPTS=-DzkRun -DzkHost=localhost:2181
    参数说明
    -DzkRun 该参数将促使一个内嵌的 zookeeper 服务作为 Solr 服务的部分运行起来。
    -DzkHost 告诉solr你的zookeeper部署在哪个IP上哪个端口
    PS: 从tomcat不需要告诉zookeeper solr云的配置文件在哪儿,可以有多个tomcat都照此配置。
     
    四、伪集群tomcat的准备工作
    因为这里是伪集群,所以同时部署在同一个机器上的两个tomcat,端口必然不能重复:
    D:\root\tomcat\apache-tomcat-8.0.28-9080 --端口9080,把8005和8009端口分别改为9001,9002
    D:\root\tomcat\apache-tomcat-8.0.28-9081 --端口9081,把8005和8009端口分别改为9003,9004
    到现在为止,我们已经使用-DzkHost=localhost:2181配置好了两个tomcat关联到zookeeper
     
    五、zookeeper准备工作
    下载后解压到目录D:/zookeeper-3.4.9
    复制D:\zookeeper-3.4.9\conf\zoo_sample.cfg为zoo.cfg,修改zoo.cfg:
    dataDir=D:/zookeeper-3.4.9/data --这里修改为实际的data数据目录
    zookeeper的默认启动端口为2181
     
    六、启动solr云
    1)启动zookeeper3.4.9 D:\zookeeper-3.4.9\bin\zkServer.cmd
    2)启动主tomcat D:\solr\solrMachine1\apache-tomcat-8.0.28-9080\bin\startup.bat
    3)启动从tomcat D:\solr\solrMachine2\apache-tomcat-8.0.28-9081\bin\startup.bat
    启动之后命令行窗口好多的打印!也不知道在打印个什么东西,第一次启动的时候我以为是solr应用在上传数据到zookeeper,因为我的solr索引已经达到110多万,后来我把索引数据清空了,还是有很多打印,不太明白为什么zookeeper在干什么。
     
    七、访问solr云
    在启动成功之后,随意访问任何一个tomcat,都可以查看到solr云已经成功显示,我这里访问的是http://localhost:9081/solr/index.html
    点击Cloud菜单后,默认会进入Graph视图,该视图显示如下:
     
    可以看到9080和9081两个分布式节点已经成功部署。
     
    八、solr云失败频率高
    不知道是本地内存不够还是zookeeper或者solr没有优化好,只要我点击Cloud菜单下的Tree或者Graph(Radial)子菜单,就一定会出现各种假死:
    一个节点已经死了,另一个节点正在艰难恢复中。 ╯﹏╰
     
     
     
     
     
     
    支付宝扫一扫,为女程序员打赏!
    作者:梦幻朵颜
    版权:本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
  • 相关阅读:
    LG P4161 [SCOI2009]游戏/LG P6280 [USACO20OPEN]Exercise G
    BZOJ3473 字符串
    BZOJ4545 DQS的trie
    LG P5212 SubString
    batj ,tmd用的都是什么技术。
    java社招面试题目
    python,go,java 的发展
    互联网 后端技术必备知识
    java语言三件套
    java spring全家桶
  • 原文地址:https://www.cnblogs.com/zhuwenjoyce/p/6549705.html
Copyright © 2011-2022 走看看