zoukankan      html  css  js  c++  java

  • 全文检索引擎Solr系列——Solr核心概念、配置文件

    Document

    Document是Solr索引（动词，indexing）和搜索的最基本单元，它类似于关系数据库表中的一条记录，可以包含一个或多个字段（Field），每个字段包含一个name和文本值。字段在被索引的同时可以存储在索引中，搜索时就能返回该字段的值，通常文档都应该包含一个能唯一表示该文档的id字段。例如：

    1
    2
    3
    4
    5
    6
    7
    8
    <doc>
        <field name="id">company123</field>
        <field name="companycity">Atlanta</field>
        <field name="companystate">Georgia</field>
        <field name="companyname">Code Monkeys R Us, LLC</field>
        <field name="companydescription">we write lots of code</field>
        <field name="lastmodified">2013-06-01T15:26:37Z</field>
    </doc>

    Schema

    Solr中的Schema类似于关系数据库中的表结构，它以schema.xml的文本形式存在在conf目录下，在添加文当到索引中时需要指定Schema，Schema文件主要包含三部分：字段（Field）、字段类型（FieldType）、唯一键（uniqueKey）

    • 字段类型（FieldType）：用来定义添加到索引中的xml文件字段（Field）中的类型，如：int，String，date，
    • 字段（Field）：添加到索引文件中时的字段名称
    • 唯一键（uniqueKey）：uniqueKey是用来标识文档唯一性的一个字段（Feild），在更新和删除时用到

    例如：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    <schema name="example" version="1.5">
        <field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" />
        <field name="title" type="text_general" indexed="true" stored="true" multiValued="true"/>
     
        <uniqueKey>id</uniqueKey>
        <fieldType name="string" class="solr.StrField" sortMissingLast="true" />
        <fieldType name="text_general" class="solr.TextField" positionIncrementGap="100">
              <analyzer type="index">
                <tokenizer class="solr.StandardTokenizerFactory"/>
                <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />
                <!-- in this example, we will only use synonyms at query time
                <filter class="solr.SynonymFilterFactory" synonyms="index_synonyms.txt" ignoreCase="true" expand="false"/>
                -->
                <filter class="solr.LowerCaseFilterFactory"/>
              </analyzer>
              <analyzer type="query">
                <tokenizer class="solr.StandardTokenizerFactory"/>
                <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />
                <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
                <filter class="solr.LowerCaseFilterFactory"/>
              </analyzer>
        </fieldType>
    </schema>

    Field

    在Solr中，字段(Field)是构成Document的基本单元。对应于数据库表中的某一列。字段是包括了名称，类型以及对字段对应的值如何处理的一种元数据。比如：

    <field name="name" type="text_general" indexed="true" stored="true"/>
    • Indexed：Indexed=true时，表示字段会加被Sorl处理加入到索引中，只有被索引的字段才能被搜索到。
    • Stored：Stored=true，字段值会以保存一份原始内容在在索引中，可以被搜索组件组件返回，考虑到性能问题，对于长文本就不适合存储在索引中。

    Field Type

    Solr中每个字段都有一个对应的字段类型，比如：float、long、double、date、text，Solr提供了丰富字段类型，同时，我们还可以自定义适合自己的数据类型，例如：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    <!-- Ik 分词器 -->
     <fieldType name="text_cn_stopword" class="solr.TextField">
         <analyzer type="index">
             <tokenizer class="org.wltea.analyzer.lucene.IKAnalyzerSolrFactory" useSmart="false"/>
         </analyzer>
         <analyzer type="query">
             <tokenizer class="org.wltea.analyzer.lucene.IKAnalyzerSolrFactory" useSmart="true"/>
         </analyzer>
     </fieldType>
     <!-- Ik 分词器 -->

    Solrconfig：

    如果把Schema定义为Solr的Model的话，那么Solrconfig就是Solr的Configuration，它定义Solr如果处理索引、高亮、搜索等很多请求，同时还指定了缓存策略，用的比较多的元素包括：

    • 指定索引数据路径
    1
    2
    3
    4
    5
    6
    <!--
    Used to specify an alternate directory to hold all index data
    other than the default ./data under the Solr home.
    If replication is in use, this should match the replication configuration.
    -->
    <dataDir>${solr.data.dir:./solr/data}</dataDir>
    • 缓存参数
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    <filterCache
      class="solr.FastLRUCache"
      size="512"
      initialSize="512"
      autowarmCount="0"/>
     
    <!-- queryResultCache caches results of searches - ordered lists of
         document ids (DocList) based on a query, a sort, and the range
         of documents requested.  -->
     <queryResultCache
      class="solr.LRUCache"
      size="512"
      initialSize="512"
      autowarmCount="0"/>
     
     <!-- documentCache caches Lucene Document objects (the stored fields for each document).
       Since Lucene internal document ids are transient, this cache will not be autowarmed.  -->
     <documentCache
      class="solr.LRUCache"
      size="512"
      initialSize="512"
      autowarmCount="0"/>
    • 请求处理器
      请求处理器用于接收HTTP请求，处理搜索后，返回响应结果的处理器。比如：query请求：
    1
    2
    3
    4
    5
    6
    7
    8
    9
    <!-- A request handler that returns indented JSON by default -->
    <requestHandler name="/query" class="solr.SearchHandler">
         <lst name="defaults">
           <str name="echoParams">explicit</str>
           <str name="wt">json</str>
           <str name="indent">true</str>
           <str name="df">text</str>
         </lst>
    </requestHandler>
    		 
    每个请求处理器包括一系列可配置的搜索参数，例如：wt,indent,df等等。
  • 相关阅读:
    chrome浏览器实现上传下载功能
    Python安装第三方库时报错的解决办法
    python文本编辑器Visual Studio Code
    python下载安装
    selenium环境配置
    linux_安装浏览器
    在linux中安装selenium+chrome
    armbian_配置selenium
    armbian_运行puppeteer
    java环境配置
  • 原文地址：https://www.cnblogs.com/duanxz/p/5122260.html
Copyright © 2011-2022 走看看