zoukankan      html  css  js  c++  java
  • Solr学习笔记(4) —— SolrCloud的概述和搭建

    一、概述

    1.1 什么是SolrCloud

      Lucene是一个Java语言编写的利用倒排原理实现的文本检索类库;

      Solr是以Lucene为基础实现的文本检索应用服务。Solr部署方式有单机方式、多机Master-Slaver方式、Cloud方式。

      SolrCloud(solr 云)是Solr提供的分布式搜索方案。当索引量很大,搜索请求并发很高,一个单一的系统无法满足磁盘需求,查询速度缓慢,此时就需要SolrCloud。在分布式索引中,原来的大索引,将会分成多个小索引,solr可以将这些小索引返回的结果合并,然后返回给客户端。

      SolrCloud是基于Solr和Zookeeper的分布式搜索方案,它的主要思想是使用Zookeeper作为集群的配置信息中心

      它有几个特色功能:

    • 集中式的配置信息:使用ZK进行集中配置。启动时可以指定把Solr的相关配置文件上传Zookeeper,多机器共用。这些ZK中的配置不会再拿到本地缓存,Solr直接读取ZK中的配置信息。配置文件的变动,所有机器都可以感知到。

      另外,Solr的一些任务也是通过ZK作为媒介发布的。目的是为了容错。接收到任务,但在执行任务时崩溃的机器,在重启后,或者集群选出候选者时,可以再次执行这个未完成的任务。

    • 自动容错:SolrCloud对索引分片,并对每个分片创建多个Replication。每个Replication都可以对外提供服务。一个Replication挂掉不会影响索引服务。更强大的是,它还能自动的在其它机器上帮你把失败机器上的索引Replication重建并投入使用。
    • 近实时搜索:立即推送式的replication(也支持慢推送)。可以在秒内检索到新加入索引。
    • 查询时自动负载均衡:SolrCloud索引的多个Replication可以分布在多台机器上,均衡查询压力。如果查询压力大,可以通过扩展机器,增加Replication来减缓。
    • 自动分发的索引和索引分片:发送文档到任何节点,它都会转发到正确节点。

    • 事务日志:事务日志确保更新无丢失,即使文档没有索引到磁盘。

    1.2 Solr集群的系统架构

        

    【物理结构】

      三个Solr实例( 每个实例包括两个Core),组成一个SolrCloud。

    【逻辑结构】

      索引集合包括两个Shard(shard1和shard2),shard1和shard2分别由三个Core组成,其中一个Leader两个Replication,Leader是由zookeeper选举产生,zookeeper控制每个shard上三个Core的索引数据一致,解决高可用问题。

      用户发起索引请求分别从shard1和shard2上获取,解决高并发问题。

    • collection:Collection在SolrCloud集群中是一个逻辑意义上的完整的索引结构。它常常被划分为一个或多个Shard(分片),它们使用相同的配置信息。比如:针对商品信息搜索可以创建一个collection。(collection=shard1+shard2+....+shardX)
    • Core:每个Core是Solr中一个独立运行单位,提供索引和搜索服务。一个shard需要由一个Core或多个Core组成。由于collection由多个shard组成所以collection一般由多个core组成。
    • Master或Slave:Master是master-slave结构中的主结点(通常说主服务器),Slave是master-slave结构中的从结点(通常说从服务器或备服务器)。同一个Shard下master和slave存储的数据是一致的,这是为了达到高可用目的。
    • Shard:Collection的逻辑分片。每个Shard被化成一个或者多个replication,通过选举确定哪个是Leader。

    1.3 需要实现的solr集群架构

      Zookeeper作为集群的管理工具,它的作用有:

        1、集群管理:容错、负载均衡。

        2、配置文件的集中管理

        3、集群的入口

      所以zookeeper需要实现高可用,即需要搭建集群。zookeeper有一个投票选举机制(选举出哪个节点是leader,哪个节点是follower),所以建议是奇数节点。需要3个zookeeper服务器,而1个Solr节点需要1台服务器,所以总共需要7台服务器。

      这里搭建伪分布式:在一台服务器上搭建4个tomcat,3个zookeeper

      建议虚拟机内存1.5G以上。

    二、安装步骤

    2.1 Zookeeper集群搭建

      第一步:需要安装jdk环境。

      第二步:把zookeeper的压缩包上传到服务器。

      第三步:解压缩。

      第四步:把zookeeper复制三份。

      

      第五步:在每个zookeeper目录下创建一个data目录

      

      第六步:在每个data目录下创建一个myid文件,文件名就叫做“myid”。内容分别为每个实例的id。例如1、2、3

      

      第七步:分别把conf目录下的zoo_sample.cfg文件改名为zoo.cfg。并修改配置文件(这3个zookeeper对应的zoo.cfg中,clientPort不同,可设为2181,2182,2183;server.1、server.2和server.3这部分要一致)

      

      

      第八步:创建一个批处理zkServer.sh,启动每一个zookeeper实例

      

    cd zookeeper01/bin
    ./zkServer.sh start
    cd ../../
    cd zookeeper02/bin
    ./zkServer.sh start
    cd ../../
    cd zookeeper03/bin
    ./zkServer.sh start
    cd ../../

      第九步:修改zkServer.sh的权限

      

      第十步:执行zkServer.sh批处理文件,并查看每个zookeeper的状态

       

    2.2 Solr集群的搭建

      第一步:创建四个tomcat实例。每个tomcat运行在不同的端口。8180、8280、8380、8480

      

      

      

      

      

    ------  知识点小贴士  ------
    8005端口是用来关闭TOMCAT服务的端口。  
    8080端口,负责建立HTTP连接。在通过浏览器访问Tomcat服务器的Web应用时,使用的就是这个连接器。
    8009端口,负责和其他的HTTP服务器建立连接。在把Tomcat与其他HTTP服务器集成时,就需要用到这个连接器。

      第二步:部署solr的war包。把单机版的solr工程复制到集群中的tomcat中。

      

      第三步:为每个solr实例创建一个对应的solrhome。使用单机版的solrhome复制四份。

      

      第四步:修改solr的web.xml文件。把solrhome关联起来。(4个tomcat都要修改)

       

            

      第五步:配置solrCloud相关的配置。每个solrhome下都有一个solr.xml,把其中的ip及端口号配置好。

      

      

      第六步:修改tomcat/bin目录下的catalina.sh 文件,关联solr和zookeeper

      

      • 把此配置添加到配置文件中:(tomcat01-tomcat04都要添加)

        JAVA_OPTS="-DzkHost=192.168.25.135:2181,192.168.25.135:2182,192.168.25.135:2183"

        JAVA_OPTS ,顾名思义,是用来设置JVM相关运行参数的变量 .  此配置用于在tomcat启动时找到 zookeeper集群。

      第七步:让zookeeper统一管理配置文件。需要把solrhome/collection1/conf目录上传到zookeeper。上传任意solrhome中的配置文件即可

      • 使用工具上传配置文件:/usr/local/solr-4.10.3/example/scripts/cloud-scripts/zkcli.sh

        ./zkcli.sh -zkhost 192.168.25.135:2181,192.168.25.135:2182,192.168.25.135:2183 -cmd upconfig -confdir /usr/local/solr-cloud/solrHome01/collection1/conf -confname myconf

          参数解释:

          -zkhost  :指定zookeeper地址列表

          -cmd    :指定命令。upconfig 为上传配置的命令

          -confdir  : 配置文件所在目录

          -confname : 配置名称

      • 查看zookeeper上的配置文件:

        

        

      • 退出:

          

      • 连接指定的zookeeper服务:

              

      第八步:启动每个tomcat实例。要保证zookeeper集群是启动状态。

      • 创建一个批处理命令:vim start-all-tomcat.sh
        /usr/local/solr-cloud/tomcat01/bin/startup.sh
        /usr/local/solr-cloud/tomcat02/bin/startup.sh
        /usr/local/solr-cloud/tomcat03/bin/startup.sh
        /usr/local/solr-cloud/tomcat04/bin/startup.sh 
      •  修改start-all-tomcat.sh的权限

      • 查看每个tomcat的启动状态

      第九步:访问集群(需要关闭防火墙)

        

      第十步:创建新的Collection进行分片处理。

    http://192.168.25.135:8180/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

        

        

       第十一步:删除不用的Collection。

    http://192.168.25.135:8180/solr/admin/collections?action=DELETE&name=collection1

        

        

          

  • 相关阅读:
    ZF2系列 – Zend Framework 2 MVC實作 (Part 3)
    albumTable.php 加入checkreg和checklogin
    albumController.php 加入loginaction
    完美实现 ASP.NET 2.0 中的URL重写伪静态(映射)
    c#文件上传源代码
    收藏:ASP.NET正则表达式大全
    添加鼠标悬浮在控件上的提示信息 很齐全各种方法 MFC ToolTipCtl
    提交表单时执行func方法
    MFC程序设置自动启动,通过注册表实现(很详细的呃!)
    VC提供的Wizard生成的MFC App Wizard(exe)框架
  • 原文地址:https://www.cnblogs.com/yft-javaNotes/p/10108349.html
Copyright © 2011-2022 走看看