zoukankan      html  css  js  c++  java
  • paip.禁用IKAnalyzer 的默认词库.仅仅使用自定义词库.

    paip.禁用IKAnalyzer 的默认词库.仅仅使用自定义词库.


    作者Attilax  艾龙,  EMAIL:1466519819@qq.com 
    来源:attilax的专栏
    地址:http://blog.csdn.net/attilax


    ver:2012
    IKAnalyzer 的默认词库的匹配度可能不好..可以使用扩展词库...


    但是,更好的办法是,禁用IKAnalyzer 的默认词库.仅仅使用自定义词库.


    需要实现Configuration接口,实现getMainDictionary以及getQuantifierDicionary俩个方法..都返回空的走ok兰..


    Configuration cfg = new mycfg();
     // 加载词库
    cfg.setUseSmart(true); // 设置智能分词
    Dictionary.initial(cfg);


    Dictionary dictionary = Dictionary.getSingleton();
     
    List<String>  = ftc.getListFromFile(wordLibs);
     
     
    dictionary.addWords(ext); // 自动添加自定义词



    // 创建分词对象 isMaxWordLength
    Analyzer anal = new IKAnalyzer(true);//true也标示最大词长
    StringReader reader = new StringReader(text);
    // 分词
    TokenStream ts = anal.tokenStream("", reader);
     
     
    CharTermAttribute term = ts.getAttribute(CharTermAttribute.class);
    // 遍历分词数据
    String rc0 = "";
    while (ts.incrementToken()) {
    // System.out.print(term.toString() + "     ");
    rc0 = rc0 + term.toString() + "|";
    }











  • 相关阅读:
    具体解释协方差与协方差矩阵
    百度地图SDK for Android v2.1.3全新发布
    奇妙的等式
    Canny边缘检测及C++实现
    移动火柴问题
    移动火柴问题
    奇妙的等式 && 精妙的证明(二)
    奇妙的等式 && 精妙的证明(二)
    拉马努金恒等式
    拉马努金恒等式
  • 原文地址:https://www.cnblogs.com/keanuyaoo/p/3423969.html
Copyright © 2011-2022 走看看