zoukankan      html  css  js  c++  java
  • solr索引创建流程

    solr索引创建流程:

      分词组件Tokenizer

        分词组件(Tokenizer)会做以下几件事情(这个过程称为:Tokenize),处理得到的结果是词汇单元(Token)。

          1、将文档分成一个一个单独的单词。

          2、去除标点符号。

          3、去除停词(stop word)。

      语言处理组件

        语言处理组件(linguistic processor)主要是对得到的词元(Token)做一些语言相关的处理。对于英语,语言处理组件(Linguistic Processor)一般做以下几点:  

          1、变为小写(Lowercase)

          2、将单词缩减为词根形式

          3、将单词转换为词根形式

     

     

     

      索引组件(Indexer)

        1、利用得到的词(Term)创建一个字典

        2、对字段进行排序

        3、合并相同的词和词出现的文档

     

     

  • 相关阅读:
    腾讯的张小龙是一个怎样的人?
    wordpress 推荐几个主题
    heidisql 可以查看sql
    phpmyadmin 连接外部数据库
    两个效果不错胡时间轴网站
    phpstorm与Mint 快捷键冲突
    Android Action
    Tomcat server.xml
    awk
    makefile
  • 原文地址:https://www.cnblogs.com/zlslch/p/6747871.html
Copyright © 2011-2022 走看看