ES 中文分词

一、大名鼎鼎的中文插件IK的安装配置

1. 在插件目录中建立IK的目录

mkdir $ES_HOME/plugins/analysis-ik

2. 下载IK 的类库jar 文件到IK目录

cd  $ES_HOME/plugins/analysis-ik
wget https://github.com/medcl/elasticsearch-rtf/blob/master/plugins/analysis-ik/elasticsearch-analysis-ik-1.2.6.jar

3. 放置数据字典

将打包的ik.zip 解压缩到$ES_HOME/config目录中

unzip  ik.zip  -d  /usr/local/elasticsearch/config/

4. 设置配置文件

在配置文件中添加IK的配置

vi $ES_HOME/config/elasticsearch.yml

在最后添加下边的内容

index:
  analysis:                   
    analyzer:      
      ik:
          alias: [ik_analyzer]
          type: org.elasticsearch.index.analysis.IkAnalyzerProvider
      ik_max_word:
          type: ik
          use_smart: true
      ik_smart:
          type: ik
          use_smart: false

5.重新启动es 看IK 插件运行是否正常

$ES_HOME/bin/elasticsearch –d

查看启动日志中是否加载analysis-ik

cat  $ES_HOME/logs/7jia2.log | grep 'analysis-ik'
[2014-10-12 22:03:31,309][INFO ][plugins ] [spt] loaded [analysis-ik], sites [bigdesk, head]

看到analysis-ik表示加载成功

6. 测试分词效果

curl -XPOST "http://192.168.1.248:7200/lvyoumall/_analyze?analyzer=ik" -d'
{
    "text" : "女士冲锋衣"
}'

二 Medcl 大神的另一个分词利器mmseg

1. 在插件目录中建立IK的目录

mkdir $ES_HOME/plugins/ analysis-mmseg

2. 下载IK 的类库jar 文件到IK目录

cd  $ES_HOME/plugins/ analysis-mmseg
wget https://github.com/medcl/elasticsearch-rtf/blob/master/plugins/analysis-mmseg/elasticsearch-analysis-mmseg-1.2.2.jar

3.放置数据字典

将打包的mmseg.zip 解压缩到$ES_HOME/config目录中

unzip  mmseg.zip  -d  /usr/local/elasticsearch/config/

4. 设置配置文件

在配置文件中添加IK的配置

vi $ES_HOME/config/elasticsearch.yml

使最后的分析器如下显示

index:
  analysis:
    tokenizer:
      mmseg_maxword:
        type: mmseg
        seg_type: max_word
      mmseg_complex:
        type: mmseg
        seg_type: complex
      mmseg_simple:
        type: mmseg
        seg_type: simple
    analyzer:
      ik:
        alias:
        - ik_analyzer
        type: org.elasticsearch.index.analysis.IkAnalyzerProvider
      ik_max_word:
        type: ik
        use_smart: false
      ik_smart:
        type: ik
        use_smart: true
      mmseg:
        alias:
        - mmseg_analyzer
        type: org.elasticsearch.index.analysis.MMsegAnalyzerProvider
      mmseg_maxword:
        type: custom
        filter:
        - lowercase
        tokenizer: mmseg_maxword
      mmseg_complex:
        type: custom
        filter:
        - lowercase
        tokenizer: mmseg_complex
      mmseg_simple:
        type: custom
        filter:
        - lowercase
        tokenizer: mmseg_simple

5.重新启动es 看IK 插件运行是否正常

$ES_HOME/bin/elasticsearch –d

查看启动日志中是否加载mmseg

cat  $ES_HOME/logs/7jia2.log | grep 'analysis-mmseg '
loaded [analysis-mmseg, analysis-ik, jdbc-1.3.0.4-247a6f5], sites [bigdesk, head]

看到mmseg表示加载成功

6.测试分词效果

Curl -XPOST "http://192.168.1.248:7200/lvyoumall/_analyze?analyzer=mmseg" -d'
{
    "text" : "女士冲锋衣"
}'

curl -XPOST "http://192.168.1.248:7200/lvyoumall/_analyze?analyzer=mmseg_complex" -d'
{
    "text" : "女士冲锋衣"
}'