zoukankan      html  css  js  c++  java

  • SolrCloud分布式集群部署步骤

    http://www.mamicode.com/info-detail-892923.html

    • Solr及SolrCloud简介

    　　　　Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。

    　　　   SolrCloud是Solr4.0版本以后基于Solr和Zookeeper的分布式搜索方案，它的主要思想是使用Zookeeper作为集群的配置信息中心。它有以下几个特点：

      1. 集中式的配置信息管理。
      2. 自动容错。
      3. 近实时搜索。
      4. 查询时自动负载均衡。
      5. 将索引存储在HDFS上。
      6. 通过MR批量创建索引。

    　　　　更多关于SolrCloud的相关介绍可参考以下链接：

      1. http://www.chepoo.com/solrcloud-introduction.html
      2. http://www.cnblogs.com/phinecos/archive/2012/02/10/2345634.html
      3. https://cwiki.apache.org/confluence/display/solr/SolrCloud
    • 软件包准备
    1. jdk-7u79-linux-x64.tar.gz
    2. apache-tomcat-7.0.62.tar.gz
    3. solr-5.2.1.tgz
    4. zookeeper-3.4.6.tar.gz
    • 服务器准备

    　　　　准备三台服务器：

      1. 192.168.1.131  
      2. 192.168.1.141 
      3. 192.168.1.146 
    • SolrCloud集群搭建步骤

      • 服务器环境配置
        1. 配置主机名和IP映射，在3台服务器的/etc/hosts文件中添加以下几行：
          192.168.1.131 solr-cloud-master
          192.168.1.141 solr-cloud-slave1
          192.168.1.146 solr-cloud-slave2
          技术分享

          将文件同步到其它机器上。　　
          scp /etc/hosts  solr-cloud-slave1:/etc/
scp /ect/hosts  solr-cloud-slave2:/etc/
        2. 关闭防火墙，在生产环境中需要开放相应的端口。

          service iptables stop
chkconfig iptables off
          技术分享
      • 安装文件目录规划
        1. JDK安装目录：/usr/local/lib
        2. Solr安装目录：/opt/SolrCloud/Solr/solr
        3. Solr配置文件目录：/opt/SolrCloud/Solr/solr-config
        4. Solr数据文件目录：/apps/data/solr-cores
        5. Zookeeper安装目录：/opt/SolrCloud/Zookeeper
        6. Zookeeper数据文件目录：/apps/data/zookeeper/data
        7. Tomcat安装目录：/opt/SolrCloud/Tomcat
          除了安装JDK的目录不需要创建，其它目录都需要进行创建。
      • 安装JDK
        1. 解压 jdk-7u79-linux-x64.tar.gz 到 /usr/local/lib/ 目录下并重命名
          技术分享
        2. 在/etc/profile.d/ 目录下创建一个shell脚本文件并添加一下内容：

          技术分享

          配置立即生效： 
          source /etc/profile.d/jdk_env.sh

          输入 java -version 检测是否安装成功
          技术分享
          也可以直接修改/etc/profile文件，添加的内容都是一样的。

          同步配置到其它机器：
          scp -r /usr/local/lib/jdk  solr-cloud-slave1:/usr/local/lib/
scp  /etc/profile.d/jdk_env.sh  solr-cloud-slave1:/ect/profile.d/
source  /etc/profile.d/jdk_env.sh

scp -r /usr/local/lib/jdk  solr-cloud-slave2:/usr/local/lib/
scp  /ect/profile.d/jdk_env.sh  solr-cloud-slave2:/etc/profile.d/
source /etc/profile.d/jdk_env.sh
      • 安装配置Zookeeper
        1. 解压 zookeeper-3.4.6.tar.gz  到 /opt/SolrCloud/Zookeeper/ 目录，并修改目录所有者。
          技术分享

        2. 配置zookeeper
          cd /opt/SolrCloud/Zookeeper/zookeeper-3.4.6/conf
cp zoo_sample.cfg zoo.cfg
        3. 修改zoo.cfg
          技术分享

        4. 参数详解
          tickTime：该参数有默认值：3000，单位是毫秒(ms)，可以不配置，不支持系统属性方式配置，参数tickTime用于配置Zookeeper中最小时间单元的长度，
          很多运行时的时间间隔都是使用tickTime的倍数来表示的。例如，Zookeeper中会话的最小超时时间默认是2*tickTime。

          initLimit：该参数有默认值：10，即表示是参数tickTime值的10倍，必须配置，且需要配置一个正整数，不支持系统属性方式设置。该参数用于配置Leader服务器等待Follower启动，
          并 完成数据同步的时间。Follower服务器启动过程中，会与Leader建立连接并完成数据的同步，从而确定自己对外提供服务的起始状态。Leader 服务器允许Follower在inittLimit时间内完成这个工作。通常情况下，运维人员不用太在意这个参数的配置，使用其默认值即可。但如果随着 Zookeeper集群管理的数据量增大，Follower服务器在启动的时候，从Leader上进行同步数据的时间也会相应变长，于是无法在较短的时间 完成数据同步。因此，在这种情况下，有必要适当调大这个参数。

          syncLimit：该参数有默认值：5，即表示tickTime值得5 倍，必须配置，且需要配置一个正整数，不支持系统属性设置。该参数用于配置Leader服务器和Follower之间进行心跳检测的最大延迟时间。在 Zookeeper集群运行过程中，Leader服务器会与所有Follower进行心跳检测来确定该服务器是否存活。如果Leader服务器在 syncLimit时间内无法获取到Follower的心跳检测响应，那么Leader就会认为该Follower已经脱离了和自己的同步。

          dataDir： 该参数无默认值，必须配置，不支持系统属性方式设置，参数dataDir用于配置Zookeeper服务器存储快照文件的目录。默认情况下，如果没有配置 参数dataLogDir，那么事务日志也会存储在这个目录中。考虑到事务日志的写性能直接影响Zookeeper整体的服务能力，因此建议同时通过参数 dataLogDir来配置Zookeeper事务日志的存储目录。

          dataLogDir：该参数有默认值，dataDir，可以不配 置，不支持系统属性方式设置。参数dataLogDir用于配置Zookeeper服务器存储事务日志文件的目录。默认情况下，Zookeeper会将事 务日志文件和快照数据存储在同一个目录中，应尽量将这两者的目录区分开来，另外，如果条件允许，可以将事务日志的存储配置在一个单独的磁盘上。事务日志记 录对于磁盘的性能要求非常高，为了保证数据的一致性，Zookeeper在返回客户端事务请求响应之前，必须将本次请求对应的事务日志写入到磁盘中。因 此，事务日志写入的性能直接决定了Zookeeper在处理事务请求是的吞吐。

          clientPort：参数clientPort用于配置 当前服务器对外的服务端口，客户端会通过该端口和Zookeeper服务器建立连接，一般设置为2181。每台Zookeeper服务器都可以配置任意可 以的端口，同时，集群中的所以服务器不需要保持clientPort端口一致。

          server.id=host:port:port ：该参数没有默认值，在单机模式下可以不配置，不支持系统属性方式设置。该参数用于配置组成Zookeeper集群的机器列表，其中id即为Server ID，与每台服务器myid文件中的数字相对应。同时，在该参数中，会配置两个端口：第一个端口用于指定Follower服务器与Leader进行运行时 通信和数据同步是所使用的端口，第二个端口则专门用于Leader选举过程中的投票通信。在Zookeeper服务器启动的时候，其会根据myid文件中 配置的Server ID来确定自己是哪台服务器，并使用对于配置的端口来进行启动。

        5. 同步Zookeeper的配置及相关目录到其它两台机器：

          scp -r /opt/SolrCloud/Zookeeper/zookeeper-3.4.6/  solr-cloud-slave1:/opt/SolrCloud/Zookeeper/
scp -r /apps/data/zookeeper/  solr-cloud-slave1:/apps/data/

scp -r /opt/SolrCloud/Zookeeper/zookeeper-3.4.6/  solr-cloud-slave2:/opt/SolrCloud/Zookeeper/
scp -r /apps/data/zookeeper/  solr-cloud-slave2:/apps/data/
        6. 创建myid文件，并写入zoo.cfg中对于的Server ID：

          solr-cloud-master：
          技术分享

          solr-cloud-slave1：
          技术分享

          solr-cloud-slave2：
          技术分享

        7. 分别启动三台Zookeeper服务器：

          cd /opt/SolrCloud/Zookeeper/zookeeper-3.4.6/bin/
./zkServer.sh  start
          技术分享

        8. 查看Zookeeper状态

          solr-cloud-master：
          技术分享

          solr-cloud-slave1：
          技术分享

          solr-cloud-slave2：
          技术分享

        9. Zookeeper其它参考信息：

          Zookeeper官网：
          http://zookeeper.apache.org/doc/
          Zookeeper维基百科：
          https://cwiki.apache.org/confluence/display/ZOOKEEPER/Index;jsessionid=0B5F772DCFF3506613D26E3752F7D415
          Zookeeper技术博客：
          http://nileader.blog.51cto.com/1381108/d-16
      • SolrCloud分布式集群搭建
        1. 解压 apache-tomcat-7.0.62.tar.gz ，解压部署后的目录为：/opt/SolrCloud/Tomcat/apache-tomcat-7.0.62
        2. 解压 solr-5.2.1.tgz ，并把solr.war解压到/opt/SolrCloud/Solr/solr 目录下。
          技术分享

        3. 将 solr-5.2.1/server/lib/ext/ 目录下的jar包拷贝到 /opt/SolrCloud/Solr/solr/WEB-INF/lib/ 目录下。
          cp /home/software/solr-5.2.1/server/lib/ext/*.jar /opt/SolrCloud/Solr/solr/WEB-INF/lib/
        4. 将 solr-5.2.1/server/solr/configsets/basic_configs/conf/ 目录下的文件拷贝到 /opt/SolrCloud/Solr/solr-config/
          技术分享

        5. 将 solr-5.2.1/example/files/conf/ 目录下的文件夹拷贝到 /opt/SolrCloud/Solr/solr-config/
          技术分享

        6. 将 /opt/SolrCloud/Solr/solr 目录拷贝到 /opt/SolrCloud/Tomcat/apache-tomcat-7.0.62/webapps/ 目录下。
          技术分享

        7. 将 solr-5.2.1/server/solr/ 目录下的solr.xml文件拷贝到 /apps/data/solr-cores/ 目录下，这是solr的核心配置文件。
          技术分享

        8. 修改 /apps/data/solr-cores/  目录下的solr.xml，修改hostPort和Tomcat端口一致：
          技术分享

          同步配置到其它机器：
          scp /apps/data/solr-cores/solr.xml solr-cloud-slave1:/apps/data/solr-cores/
scp /apps/data/solr-cores/solr.xml solr-cloud-slave2:/apps/data/solr-cores/
        9. 在 /opt/SolrCloud/Tomcat/apache-tomcat-7.0.62/conf/ 目录下创建Catalina和localhost目录。
           mkdir -p /opt/SolrCloud/Tomcat/apache-tomcat-7.0.62/conf/Catalina/localhost
        10. 在 /opt/SolrCloud/Tomcat/apache-tomcat-7.0.62/conf/Catalina/localhost/ 目录下创建solr.xml，此为Solr/home的配置文件。
          <?xml version="1.0" encoding="UTF-8"?>
<Context docBase="/opt/SolrCloud/Tomcat/apache-tomcat-7.0.62/webapps/solr" debug="0" crossContext="true">
<Environment name="solr/home" type="java.lang.String" value="/apps/data/solr-cores/" override="true"/>
</Context>

        11.  修改 /opt/SolrCloud/Tomcat/apache-tomcat-7.0.62/bin/catalina.sh 加入以下内容：
          技术分享

        12. 将以上配置同步到其它服务器
          scp -r /opt/SolrCloud/Tomcat/apache-tomcat-7.0.62/  solr-cloud-slave1:/opt/SolrCloud/Tomcat/
scp -r /opt/SolrCloud/Solr/   solr-cloud-slave1:/opt/SolrCloud/
scp -r /apps/data/solr-cores/  solr-cloud-slave1:/apps/data/

scp -r /opt/SolrCloud/Tomcat/apache-tomcat-7.0.62/  solr-cloud-slave2:/opt/SolrCloud/Tomcat/
scp -r /opt/SolrCloud/Solr/   solr-cloud-slave2:/opt/SolrCloud/
scp -r /apps/data/solr-cores/  solr-cloud-slave2:/apps/data/
        13. 上传配置到Zookeeper：
          SolrCloud是通过Zookeeper集群来保证配置文件的变更及时同步到各个节点上，所以，需要将配置文件上传到Zookeeper集群。
          solr配置文件目录：/opt/SolrCloud/Solr/solr-config/
          执行以下操作：
           java -classpath .:/opt/SolrCloud/Tomcat/apache-tomcat-7.0.62/webapps/solr/WEB-INF/lib/* org.apache.solr.cloud.ZkCLI -cmd upconfig -zkhost solr-cloud-master:2181,solr-cloud-slave1:2181,solr-cloud-slave2:2181 -confdir /opt/SolrCloud/Solr/solr-config/ -confname solrconfig
        14. 校验Zookeeper配置文件
          cd /opt/SolrCloud/Zookeeper/zookeeper-3.4.6/bin/
./zkCli.sh -server solr-cloud-master:2181

          技术分享

        15. 启动Tomcat，先启动solr-cloud-master机器上的tomcat:
          cd /opt/SolrCloud/Tomcat/apache-tomcat-7.0.62/bin/
./startup.sh

           启动solr-cloud-slave1和solr-cloud-slave2机器上的Tomcat。

        16. 访问http://solr-cloud-master:8080/solr/可以看到下图：
          技术分享
        17. 创建Collection及初始化Shard
          curl ‘http://solr-cloud-master:8080/solr/admin/collections?action=CREATE&name=collection_1&numShards=3&replicationFactor=1‘

          技术分享
          查看  /apps/data/solr-cores/  目录：

          技术分享

        18. SolrCloud测试
          import java.io.IOException;
import java.util.ArrayList;
import java.util.Collection;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.solr.client.solrj.SolrClient;
import org.apache.solr.client.solrj.SolrQuery;
import org.apache.solr.client.solrj.SolrServerException;
import org.apache.solr.client.solrj.impl.CloudSolrClient;
import org.apache.solr.client.solrj.impl.LBHttpSolrClient;
import org.apache.solr.client.solrj.response.QueryResponse;
import org.apache.solr.client.solrj.response.UpdateResponse;
import org.apache.solr.common.SolrDocument;
import org.apache.solr.common.SolrDocumentList;
import org.apache.solr.common.SolrInputDocument;

public class SolrCloudTest {
    public static final Log LOG = LogFactory.getLog(SolrCloudTest.class);
    private static CloudSolrClient cloudSolrClient;
    private  static LBHttpSolrClient solrClient;

    private static synchronized CloudSolrClient getCloudSolrServer(final String zkHost) {
        LOG.info("connection to : " + zkHost + "
");
        if (cloudSolrClient == null) {
            cloudSolrClient = new CloudSolrClient(zkHost);
        }
        return cloudSolrClient;
    }

    private void addIndex(SolrClient solrClient) {
        try {
            Collection<SolrInputDocument> docs = new ArrayList<SolrInputDocument>();
            for (int i = 0; i <= 200; i++) {
                SolrInputDocument doc = new SolrInputDocument();
                String key = "";
                key = String.valueOf(i);
                doc.addField("id", key);
                doc.addField("test_s", key + "value");
                docs.add(doc);
            }
            LOG.info("docs info:" + docs + "
");
            solrClient.add(docs);
            solrClient.commit();
        } catch (SolrServerException e) {
            System.out.println("Add docs Exception !!!");
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } catch (Exception e) {
            System.out.println("Unknowned Exception!!!!!");
            e.printStackTrace();
        }
    }
    
    public void search(CloudSolrClient cloudSolrClient, String Str) {          
          SolrQuery query = new SolrQuery();
          query.setRows(20);
          query.setQuery(Str);    
          try {  
               LOG.info("query string: "+ Str);
               System.out.println("query string: "+ Str);
            QueryResponse response = cloudSolrClient.query(query);    
            SolrDocumentList docs = response.getResults();
            System.out.println(docs);
            System.out.println(docs.size());
            System.out.println("doc num:" + docs.getNumFound());    
            System.out.println("elapse time:" + response.getQTime());            
            for (SolrDocument doc : docs) {    
              String area = (String) doc.getFieldValue("test_s");    
              String id = (String) doc.getFieldValue("id");    
              System.out.println("id: " + id);    
              System.out.println("tt_s: " + area);    
              System.out.println();    
            }    
          } catch (SolrServerException e) {    
            e.printStackTrace();    
          } catch(Exception e) {    
            e.printStackTrace();    
          }    
        } 
    
    public  void deleteSolrData(String solrUrl) {
        try {
            solrClient = new LBHttpSolrClient(solrUrl);
            UpdateResponse res = solrClient.deleteByQuery("*:*");
            System.out.println(res.getStatus());
            solrClient.commit();
            LOG.info("Delete Success!");
        } catch (SolrServerException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    
    
     public static void main(String[] args) throws IOException {    
             final String solrUrl = "http://solr-cloud-master:8080/solr/collection_1";
            final String zkHost = "192.168.1.131:2181";         
            final String  defaultCollection = "collection_1";    
            final int  zkClientTimeout = 10000;    
            final int zkConnectTimeout = 10000;                      
            CloudSolrClient cloudSolrClient  = getCloudSolrServer(zkHost);                     
            cloudSolrClient.setDefaultCollection(defaultCollection);    
            cloudSolrClient.setZkClientTimeout(zkClientTimeout);    
            cloudSolrClient.setZkConnectTimeout(zkConnectTimeout); 
            try{
                cloudSolrClient.connect();
              System.out.println("connect solr cloud zk sucess");                 
            } catch (Exception e){    
               LOG.error("connect to collection "+defaultCollection+" error
");
               System.out.println("error message is:"+e);
               e.printStackTrace();
               System.exit(1);
            }
            SolrCloudTest solrCloudTest = new SolrCloudTest();
            try{
                solrCloudTest.addIndex(cloudSolrClient);
            } catch(Exception e){
               e.printStackTrace();
            }
            solrCloudTest.search(cloudSolrClient, "id:*");
//            solrCloudTest.deleteSolrData(solrUrl);
            cloudSolrClient.close();    
        }          
}
    • 总结

    　　　Solr5.x版本和Solr4.x的版本在安装上发生了比较大的变化，另外API操作上也发生了比较大的变化，安装相对来说比较简单，最大的难点在于对其进行性能方面的优化，在进行压力测试中发现，持续对solr集群进行操作会出现服务不可用的异常，原因目前还没有找到，有时还会出现Zookeeper集群服务异常导致数据插入失败。针对这些问题都需要后续不断地进行深入的研究后，才能得出结论或解决方案。

    　　　　本文参考了：http://www.tuicool.com/articles/AJR3Mv
  • 相关阅读:
    java.security.InvalidKeyException: Illegal key size aes解密失败
    Java获取URL链接的文件类型
    解决eclipse中web项目出现Project facet Java version 1.8 is not supported.的问题
    探讨一下Java单例设计模式
    HTML5文件上传qq、百度、taobao等比较(改进支持三种状态提示)
    jQuery Ajax 上传文件改进
    Java POI 3.17写入、导入EXCEL性能测试
    jQuery Ajax 上传文件夹及文件
    Java 打包下载服务器上选中的文件或目录(带进度条提示)
    pio 背景色
  • 原文地址：https://www.cnblogs.com/hyl8218/p/5537486.html
Copyright © 2011-2022 走看看