zoukankan      html  css  js  c++  java
  • Lucene分词初探LetterTokenizer

    关于分词就不多介绍了,园子里很多这样的文章.birdshover就写了一些关于分词的文章.在这里我主要深入Lucene分词工具的内部算法,希望能与大家一起交流.

    Lucene与分词有关的类的结构图如下:


    (图片引自:http://www.cnblogs.com/birdshover/archive/2008/08/28/1279044.html)
    在本节主要讨论LetterTokenizer和CharTokenizer,实际上算法的实现是在CharTokenizer中的next()中实现的.

    首先为了有个感性的认识,来看一个LetterTokenizer的例子:


    Code

     输出结果如下:

    达梦数据库

    DM

    Database

    LetterTokenizer中的next()方法继承自CharTokenizer.

    下面将对CharTokenizer的next()方法进行详细解剖:

    Code

    根据程序中的注释很容易就会明白该算法的大体思想:

    遍历输入字符串,根据特殊符号将输入字符串分成一个个单词,然后封装成Token返回,时间复杂度为O(n).

  • 相关阅读:
    加密与认证
    使用fiddler查看https请求
    #HTTP协议学习# (十)拓展-HTTPS协议
    #HTTP协议学习# (九)cookie
    #HTTP协议学习# (八)状态码详解
    #HTTP协议学习# (七)代理
    #HTTP协议学习# (六)缓存
    winform_使用ClickOnce生成安装程序包页面&程序发布新版本通知客户端更新
    C#_.Net Core 3.1 WebAPI_Excel数据读取与写入_自定义解析封装类_支持设置标题行位置&使用excel表达式收集数据&单元格映射&标题映射&模板文件的参数数据替换
    C#_.net core 3.0自定义读取.csv文件数据_解决首行不是标题的问题_Linqtocsv改进
  • 原文地址:https://www.cnblogs.com/hustcat/p/1318973.html
Copyright © 2011-2022 走看看