ik分词器

ik分词器下载地址：https://code.google.com/archive/p/ik-analyzer/downloads

需要翻墙

 配置文件：

 IKAnalyzer2012.jar（主 jar 包）
 IKAnalyzer.cfg.xml（分词器扩展配置文件）
 stopword.dic（停止词典）
 ext.dic (扩展词典)

 

import java.io.StringReader;

import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.wltea.analyzer.lucene.IKAnalyzer;

/**
 * Ik分词器
 *
 * @author jiang
 *
 */
public class Ik {

    public static void main(String[] args) {

        try {

　　　  　　　// 检索内容
            String text = "中国人";
            // 当为 true 时，分词器采用智能切分 ；当为 false时，分词器进行最细粒度切分。
            IKAnalyzer anal = new IKAnalyzer(false);
            StringReader reader = new StringReader(text);
            // 分词
            TokenStream ts = anal.tokenStream("s", reader);
            CharTermAttribute term = ts.getAttribute(CharTermAttribute.class);
            // 遍历分词数据
            while (ts.incrementToken()) {
                System.out.print(term.toString() + "|");
            }
            reader.close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

控制台：

加载扩展词典：ext.dic
加载扩展停止词典：stopword.dic
中国人|中国|国人|

lucene4.0 与iku_1兼容，其它不兼容情况可以更换jar包