zoukankan      html  css  js  c++  java
  • 中文分词工具thulac4j发布

    1. 介绍

    thulac4j是THULAC的Java 8工程化实现,具有分词速度快、准、强的特点;支持

    • 自定义词典
    • 繁体转简体
    • 停用词过滤

    若想在项目中使用thulac4j,可添加依赖:

    <dependency>
      <groupId>io.github.yizhiru</groupId>
      <artifactId>thulac4j</artifactId>
      <version>${thulac4j.version}</version>
    </dependency>
    

    thulac4j支持中文分词与词性标注,使用示例如下:

    String sentence = "滔滔的流水,向着波士顿湾无声逝去";
    List<String> words = Segmenter.segment(sentence);
    // [滔滔, 的, 流水, ,, 向着, 波士顿湾, 无声, 逝去]
    
    POSTagger pos = new POSTagger("models/model_c_model.bin", "models/model_c_dat.bin");
    List<SegItem> words = pos.tagging(sentence);
    // [滔滔/a, 的/u, 流水/n, ,/w, 向着/p, 波士顿湾/ns, 无声/v, 逝去/v]
    

    模型数据较大,没有放在jar包与源码。训练模型下载及更多使用说明,请参看Getting Started.

    2. 测评

    测评主要从效果(准确率、召回率、F1值)、性能方面进行比较,测评结果见wiki。从测评结果看出,thulac4j的兼顾效果与速率。

    最后,欢迎大家使用并pull request;中文分词thulac4j的QQ交流群:373215255

  • 相关阅读:
    CStrFun
    CUrl
    CCrawl
    CHttp
    类的实例化
    #include文件时用双引号和尖括号的区别
    对于给定的若干个整数,要求计算它们的和!
    汉诺塔问题
    随机数的生成代码
    排列组合C++
  • 原文地址:https://www.cnblogs.com/en-heng/p/6526598.html
Copyright © 2011-2022 走看看