全文检索Lucene框架---分词器

1.分词器作用

　　在创建索引的时候需要用法哦分词器，在使用字符串搜索的时候也会用到分词器，并且这两个地方要使用同一个分词器，否则可能会搜索不出来结果；

　　分词器的作用是把一段文本中的词按规则取出所包含的所有词，对应的是Analyzer类，这是一个抽象类，切分词的具体规则是由子类实现的，所有对于不同语言的规则，要有不同的分词器；

2.分词器分类　　

　　分词器为中文分词器和英文分词器：

　　　　英文分词器是按照词汇切分，同时作词干提取，也就是将单词末尾的变化还原，使其能搜索出来，另外各种分词器对英文都支持的比较好；

　　　　中文分词器很多实现方式，实现原理基本差不多，都是Analyzer的子类：

　　　　　　标椎分词器：也叫单字分词，将中文一个字一个字的分词；　　new StandardAnalyzer();

　　　　　　简单分词器：根据标点符号进行分词；　　new SimpleAnalyzer();

　　　　　　二分法分词器：按照两个字进行分词；　　new CJKAnalyzer();

　　　　　　停用词分词器：和简单分词器很像，根据被忽略停用的词进行分词；　　new StopAnalyzer();

　　　　　　空格分词器：根据空格进行分词；　　new WhitespaceAnalyzer();

　　　　　　IK中文分词器：分为两种实现，一种采用智能切分，另一种是最细粒度切分算法；　　new IKAnalyzer();

3.案例　

　　Lucene默认的分词器效果（标椎分词器）

package com.wn.Analyzer;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.apache.lucene.analysis.tokenattributes.OffsetAttribute;
import java.io.IOException;
/*标椎分词器*/
public class testTokenStream {
    public static void main(String[] args)throws IOException {
        //创建一个标椎分析器对象
        Analyzer analyzer=new StandardAnalyzer();
        //获得tokenStream对象
        //参数一：域名    参数二：要分析的文本内容
        TokenStream tokenStream=analyzer.tokenStream("test","The Spring Framework procides a comprehensive programming and configuration model.");
        //添加一个引用，可以获得每个关键词
        CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);
        //将指针调整到列表的头部
        tokenStream.reset();
        //遍历关键词列表，通过incrementToken方法判断列表是否结束
        while(tokenStream.incrementToken()){
            //取关键词
            System.out.println(charTermAttribute);
        }
        //关闭资源
        tokenStream.close();
    }

}

 

　　中文分析器

　　　　Lucene自带中文分词器

package com.wn.Analyzer;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import java.io.IOException;
public class CAnalyzer {
    public static void main(String[] args)throws IOException {
        //创建一个标椎分析器对象
        Analyzer analyzer=new StandardAnalyzer();
        //获得tokenStream对象
        //参数一：域名    参数二：要分析的文本内容
        TokenStream tokenStream=analyzer.tokenStream("test","哈哈哈，我爱中国，祖国~！！");
        //添加一个引用，可以获得每个关键词
        CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);
        //将指针调整到列表的头部
        tokenStream.reset();
        //遍历关键词列表，通过incrementToken方法判断列表是否结束
        while(tokenStream.incrementToken()){
            //取关键词
            System.out.println(charTermAttribute);
        }
        //关闭资源
        tokenStream.close();
    }
}

 

　　　　IK中文分词器（IKAnalyzer）

　　　　　　1.导入依赖

<!-- https://mvnrepository.com/artifact/com.jianggujin/IKAnalyzer-lucene -->
                    <dependency>
                        <groupId>com.jianggujin</groupId>
                        <artifactId>IKAnalyzer-lucene</artifactId>
                        <version>8.0.0</version>
                    </dependency>

　　　　　　2.配置IKAnalyzer，导入配置文件

　　　　　　　　　　　　　

　　　　　　　　hotword.dic 扩展词典，可以将时尚的网络名词放入到该词典当中，这样就能根据扩展词典进行分词
　　　　　　　　stopword.dic 停用词词典，可以将无意义的词和敏感词汇放入到该词典当中，这样在分析的时候就会忽略这些内容

 　　　　　　　 IKAnalyzer.cfg.xml文件：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">  
<properties>  
    <comment>IK Analyzer 扩展配置</comment>
    <!--用户可以在这里配置自己的扩展字典 -->
    <entry key="ext_dict">hotword.dic;</entry>
    
    <!--用户可以在这里配置自己的扩展停止词字典-->
    <!--词典可以有多个，需要使用分号进行分割“;”-->
    <entry key="ext_stopwords">stopword.dic;</entry> 
    
</properties>

　　　　　　3.使用IKAnalyzer进行分词

/*自定义分词器*/
public class IKAnalyzerTest {
    public static void main(String[] args)throws IOException {
        //创建一个自定义分词器
        Analyzer analyzer=new IKAnalyzer();
        //获得tokenStream对象
        //参数一：域名    参数二：要分析的文本内容
        TokenStream tokenStream=analyzer.tokenStream("","数据库安装，本地计算机！");
        //添加一个引用，可以获得每个关键词
        CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);
        //将指针调整到列表的头部
        tokenStream.reset();
        //遍历关键词列表，通过incrementToken方法判断列表是否结束
        while(tokenStream.incrementToken()){
            //取关键词
            System.out.println(charTermAttribute);
        }
        //关闭资源
        tokenStream.close();
    }
}

 

　　　　　　4.程序当中使用IKAnalyzer　　　

package com.wn.Analyzer;

import org.apache.commons.io.FileUtils;
import org.apache.lucene.document.*;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.wltea.analyzer.lucene.IKAnalyzer;
import sun.reflect.misc.FieldUtil;

import java.io.File;
import java.io.IOException;

/*自定义分词器-创建索引*/
public class addDocument {
    public static void main(String[] args)throws IOException {
        //步骤一：创建Directory对象，用于指定索引库的位置    RAMDirectory内存
        Directory directory = FSDirectory.open(new File("E:\Lucene\temp\index").toPath());
        //步骤二：创建一个IndexWriter对象，用于写索引
        IndexWriter indexWriter=new IndexWriter(directory,new IndexWriterConfig(new IKAnalyzer()));
        //步骤三：读取磁盘中文件，对应每一个文件创建一个文档对象
        File file=new File("E:\Lucene\temp\searchsource");
        //步骤四：获取文件列表
        File[] files = file.listFiles();
        for (File item:files) {
            //步骤五：获取文件数据，封装域   参数三：是否存储
            Field fieldName=new TextField("fieldName",item.getName(), Field.Store.YES);
            Field fieldPath=new StoredField("fieldPath",item.getPath());
            Field fieldSize=new LongPoint("fieldSize", FileUtils.sizeOf(item));
            Field fieldSizeStore=new StoredField("fieldSize", FileUtils.sizeOf(item));
            Field fieldContent=new TextField("fieldContent", FileUtils.readFileToString(item,"UTF-8"), Field.Store.YES);
            //步骤六：创建文档对象，向文档对象中添加域
            Document document=new Document();
            document.add(fieldName);
            document.add(fieldPath);
            document.add(fieldSize);
            document.add(fieldContent);
            document.add(fieldSizeStore);

            //步骤七：创建索引，将文档对象写入到索引库
            indexWriter.addDocument(document);
        }
        //步骤八：关闭资源
        indexWriter.close();

    }
}