zoukankan      html  css  js  c++  java
  • Lucene分词初探LetterTokenizer

    关于分词就不多介绍了,园子里很多这样的文章.birdshover就写了一些关于分词的文章.在这里我主要深入Lucene分词工具的内部算法,希望能与大家一起交流.

    Lucene与分词有关的类的结构图如下:


    (图片引自:http://www.cnblogs.com/birdshover/archive/2008/08/28/1279044.html)
    在本节主要讨论LetterTokenizer和CharTokenizer,实际上算法的实现是在CharTokenizer中的next()中实现的.

    首先为了有个感性的认识,来看一个LetterTokenizer的例子:


    Code

     输出结果如下:

    达梦数据库

    DM

    Database

    LetterTokenizer中的next()方法继承自CharTokenizer.

    下面将对CharTokenizer的next()方法进行详细解剖:

    Code

    根据程序中的注释很容易就会明白该算法的大体思想:

    遍历输入字符串,根据特殊符号将输入字符串分成一个个单词,然后封装成Token返回,时间复杂度为O(n).

  • 相关阅读:
    java 编码分析
    httpclient
    http://www.cognoschina.net/club/
    (原创)冬日里的一抹暖(摄影,欣赏)
    (原创)Louis Aston Knight 的家(摄影,欣赏)
    (原创)微笑佛国(摄影,欣赏)
    (原创)黑白风景(摄影,欣赏)
    (原创)浪迹天涯的哈士奇(摄影,欣赏)
    (转载)天山公路(摄影,欣赏)
    (原创)巩固理解基于DS18B20的1-wire协议(MCU,经验)
  • 原文地址:https://www.cnblogs.com/hustcat/p/1318973.html
Copyright © 2011-2022 走看看