zoukankan      html  css  js  c++  java
  • solr学习2

    1:solr中的时间问题
    solr中显示的时间默认会比我们本机时间少八个小时,因为时区不一样。

    在solr的web页面查看会发现时间少八个小时。
    但是使用java代码操作的时候是整成的的,所以在这只需要知道sorl有这个现象就可以了。


    可以给这个时间字段添加默认值。添加default字段即可
    给last_modified字段添加默认值,是当前时间。
    <field name="last_modified" type="date" indexed="true" stored="true" default="NOW"/>


    2:solr中的主从
    主要是解决了高并发的问题,可以使用ngix代理实现负载均衡。
    主从结构,只能有一个主节点,可以有多个从节点。
    并且只能在主节点实现添加数据,从节点一般执行查询操作,从节点会从主节点定时同步数据。

    手工设置主从节点:

    具体配置:
    主节点:192.168.1.170
    vi /usr/loca/solr-4.10.4/example/solr/collection1/conf/solrconfig.xml
    找到第1240行,把这个配置注释去掉
    <lst name="master">
    <!-- replicateAfter的值表示从节点只能在主节点commit和startup之后才能同步到数据。 -->
    <str name="replicateAfter">commit</str>
    <str name="replicateAfter">startup</str>
    <str name="confFiles">schema.xml,stopwords.txt</str>
    </lst>

    从节点:192.168.1.171
    vi /usr/loca/solr-4.10.4/example/solr/collection1/conf/solrconfig.xml
    找到第1240行,把这个配置注释去掉,修改里面的这个配置your-master-hostname
    <lst name="slave">
    <!-- 表示指定主节点地址,默认是指定collection1,如果是其他名称,需要显式指定 -->
    <str name="masterUrl">http://192.168.1.170:8983/solr</str>
    <!-- 表示同步的时机 -->
    <str name="pollInterval">00:00:60</str>
    </lst>


    启动主节点,启动从节点,即可。在主机点添加数据,在从节点就可以查到了。


    动态设置主从:
    vi /usr/loca/solr-4.10.4/example/solr/collection1/conf/solrconfig.xml
    找到1240行,改为如下配置
    <lst name="${master:master}">
    <str name="replicateAfter">commit</str>
    <str name="replicateAfter">startup</str>
    <str name="confFiles">schema.xml,stopwords.txt</str>
    </lst>

    <lst name="${slave:slave}">
    <str name="masterUrl">http://${masterurl}:8983/solr</str>
    <str name="pollInterval">00:00:60</str>
    </lst>

    把solr-4.10.4目录拷贝一份。

    在192.168.1.170上启动主节点
    java -Dslave=disabled -Dmasterurl="" -jar start.jar
    在192.168.1.171上启动从节点
    java -Dmaster=disabled -Dmasterurl=192.168.1.170 -jar start.jar


    3:solr主从复制的过程
    Replication 的实现

    Master 是感知不到 Slave 的存在的, Slave 会周期性的轮询 Master 来查看当前的索引版本。如果 Slave 发现有新的版本,那么 Slave 启动复制进程。步骤如下:
    1. Slave 发出一个 filelist 命令来收集文件列表。这个命令将返回一系列元数据( size , lastmodified , 等等)
    2. Slave 查看它本地是否有这些文件,然后它会开始下载缺失的文件 ( 使用命令 filecontent) 。如果连接失败,则下载终止。它将重试 5 次,如果仍然失败则放弃。
    3. 文件被下载到了一个临时目录。因此,下载中途出错不会影响到 slave 。
    4. 一个 commit 命令被 ReplicationHandler 执行,然后新的索引被加载进来


    4:solrcloud
    为什么会出现solrcloud
    1):高并发的问题
    2):索引数据过多导致单节点存储不下

    solr的配置
    solrcloud依赖于zookeeper,所以需要先配置好并启动,假设zookeeper启动在192.168.1.170上
    集群规划如下:
    solrcloud包含两个分片,每个分片都两个节点,一主一从。
    所以需要四个solr服务
    在这我们在一个节点上面启动4个solr来模拟

    具体步骤
    建议重新解压一个solr。
    cd solr-4.10.4
    cp -r example node1
    cp -r example node2
    cp -r example node3
    cp -r example node4


    cd node1
    java java -DzkHost=192.168.1.170:2181 -DnumShards=2 -Dbootstrap_confdir=./solr/collection1/conf -Dcollection.configName=myconf -jar start.jar
    注意:这个启动命令指定了zookeeper的地址、分片的数量,配置信息。
    再启动其他节点的时候就不需要指定分片数量和配置信息了

    cd node2
    java -DzkHost=192.168.1.170:2181 -Djetty.port=7574 -jar start.jar


    cd node3
    java -DzkHost=192.168.1.170:2181 -Djetty.port=8984 -jar start.jar

    cd node4
    java -DzkHost=192.168.1.170:2181 -Djetty.port=7575 -jar start.jar

    这样启动完成之后,就可以到solr中查看solrcloud的集群及结构了。
    http://192.168.1.170:8983/solr/#/~cloud

    -Djetty.port:指定jetty的端口
    -DzkHost:指定zookeeper的地址
    -DnumShards=2 :分片的个数
    -Dbootstrap_confdir=./solr/collection1/conf:上传配置文件
    -Dcollection.configName=myconf :为配置文件起一个名称



    注意:如果发现cloud中的集群机构和我们命令中指定的不一致,是因为之前的配置信息都保存在zookeeper中。
    所以需要把之前的配置信息删掉,之后再重新执行创建集群的命令。
    zookeeper/bin/zkCli.sh

    rmr /clusterstate.json



    5:使用java代码操作solrcloud
    在这里就不能具体指定使用哪一个节点
    需要指定zookeeper的地址
    代码如下
    String zkHost = "192.168.1.170:2181,192.168.1.171:2181";
    CloudSolrServer server = new CloudSolrServer(zkHost );
    //必须要知道默认collection的名称
    server.setDefaultCollection("collection1");
    SolrQuery query = new SolrQuery();
    query.set("q", "*:*");
    QueryResponse response = server.query(query);
    SolrDocumentList results = response.getResults();


    如果集群中某一个分片的节点都挂了,为了让集群可以正常提供查询服务,需要添加下面代码
    solrQuery.setDistrib(false);//表示不使用分布式搜索

    ——————————————————————————————————————————————————————————————————

    ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

    ——————————————————————————————————————————————————————————————————

    1:solr的提交方式
    软提交:把数据提交到内存中,可以搜索到,
    每次提交少量数据时使用这种方式
    server.commit(true,true,true);
    硬提交:把数据提交到磁盘中,可以搜索到。
    批量提交时使用
    server.commit

    自动提交
    自动软提交:默认没有开启
    <autoSoftCommit>
    <maxTime>1000</maxTime>
    </autoSoftCommit>
    自动硬提交:默认开启了,默认15秒执行一次
    <autoCommit>
    <maxDocs>1000</maxDocs>
    <maxTime>15000</maxTime>
    <openSearcher>false</openSearcher>
    </autoCommit>

    注意:虽然软提交是把数据提交到内存中,但是solr停止,数据并不会丢失,
    因为solr在没提交一条数据都会记录日志,solr后期会从日志中回复数据。

    具体自动提交的详细解释,可以参考《solr优化中的第一点》


    2:solr性能优化
    具体自动提交的详细解释,可以参考《solr优化》
    1:针对自动提交的配置
    2:针对字段的store和indexed属性的配置
    3:optimize功能,注意:虽然优化可以提高查询速度,但是不建议频繁执行,
    因为会很消耗性能,建议定时执行。
    4:jvm内存设置
    5:尽量把solr和应用放在同一个服务器上。
    6:尽量使用比较高的日志输出级别。

    3:solr和hbase集成
    他们两个集成,主要是使用solr的查询优点和hbase的通过row快速查询的特点。

    具体的项目使用我提供的《solr+hbase原始》,在这个基础上进行改造,主要solrutils工具类中的两个方法

    具体的前期solr配置参考《solr+hbase整合.txt》

    最后会把上课期间完成的代码打包成《solr+hbase完成版》
    ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

    solr优化.txt:

    1:Commit和SoftCommit
    Commit,硬提交,Solr和Lucene原本存在的commit方式,负责把索引内容刷入磁盘。需要重新打开searcher,
    Solr/Lucene才会对这部分内容可见可查,但是这样比较费性能。
    SoftCommit,软提交,这是Solr新增的commit方式,Lucene没有。软提交负责将索引内容在内存中生成segment,
    并使得索引内容对Solr可见可查,该提交方式是Commit的改善方式,保证了Solr的实时性同时又兼顾了性能。
    在进行softcommit过程中需要进行预热(即将现在状态的searcher复制到新的searcher中,保证了旧的softcommit
    数据不丢失),虽然没有重新打开searcher那么费性能,但是预热频率过快还是会影响solr的性能。

    在solrconfig.xml中可以配置自动硬提交和自动软提交
    <!-自动硬提交->
    <autoCommit>
    <maxDocs>1000</maxDocs>
    <maxTime>15000</maxTime>
    <openSearcher>true</openSearcher>
    </autoCommit>

    <!-自动软提交->
    <autoSoftCommit>
    <maxTime>1000</maxTime>
    </autoSoftCommit>

    maxDocs:当内存索引数量达到指定值的时候,将内存的索引DUMP(转储)到硬盘中,并通知searcher类加载新的索引。

    maxTime:每隔指定的时间段,自动的COMMIT内存中的索引数据,并通知Searcher类加载新的索引。

    最后openSearcher配置表示进行autocommit时候是否重新打开searcher,如果autocommit频繁又将
    openSearcher设置为true,那么solr的性能压力会非常大。

    一般会将autocommit的maxTime和maxDocs设的相对大点,对应的softcommit的maxTime设置小点,
    这样即保证了性能又保证了实时性,当然具体的值需要根据索引的频率以及document的大小综合考虑

    以上两种方式,以最先达到条件执行为准。


    通常是1-10分钟自动触发硬提交,每秒钟自动触发软提交





    注意:
    1.Solr的softCommit是Write-ahead Logging的,所以不必担心softCommit的数据会丢失。Log数据就在$solrHome/collection/data/tlog/下。
    2.solr关闭时会进行一次hard commit,所以不必担心关闭时(或kill process)softCommit数据会丢失。
    kill -9时数据也不会丢失,因为这些数据都会记录在tlog目录下面的日志里面,当solr重启之后就会加载日志中的数据。
    除非把日志文件删掉,数据才会丢失。





    2:索引字段(indexed)和存储字段(stored)
    2.1将所有只用于搜索的,而不需要作为结果的field(特别是一些比较大的field)的stored设置为false(例如:copyfield字段)
    2.2将不需要被用于搜索的,而只是作为结果返回的field的indexed属性设置为false
    2.3删除所有不必要的copyField声明

    3:optimize
    3.1在同样没有缓存的情况下,一个没有经过优化的索引的性能会比经过优化的索引的性能少10%
    3.2优化的时候,会将所有的索引段合并成为一个索引段,所以,优化这个操作其实可以帮助避免“too many files”这个问题,这个错误是由文件系统抛出的。
    3.3在索引阶段,不进行索引优化能够接受的话,就不进行索引优化optimize(),这是一个很耗时的操作,但是在查询阶段,
    优化往往能够大幅度提高查询效率,所以可以考虑周期性的优化。
    http://localhost:8983/solr/collection1/update?optimize=true&waitFlush=true&wt=json


    4:OutOfMemoryErrors
    如果你的solr实例没有被指定足够多的内存的话,java virtual machine也许会抛outof memoryError。
    通过solr start -m 1g 设置jvm内存,使用solr start命令启动的时候JVM内存默认是512M
    ( java -Xms512m -Xmx512m -jar start.jar)

    5:使用主从结构实现负载均衡和提高应用的健壮性

    6:把solr和应用部署在同一台服务器上(省去网络通信)

    7:使用尽可能高的Log输出等级,减少日志量。

  • 相关阅读:
    安卓图片载入之使用universalimageloader载入圆形圆角图片
    加密散列算法——SHA-1
    图片分类器
    LeetCode——Regular Expression Matching
    LeetCode Set Matrix Zeroes
    怎样通过浏览器分析前后端交互
    Android自己定义dialog中的EditText无法弹出键盘的解决
    @Async
    @Transactional 事务
    运行报错
  • 原文地址:https://www.cnblogs.com/cxzdy/p/5125683.html
Copyright © 2011-2022 走看看