通过lucene的StandardAnalyzer分析器来了解分词

本文转载http://blog.csdn.net/jspamd/article/details/8194919

 　　不同的Lucene分析器Analyzer，它对TokenStream进行分词的方法是不同的，这需要根据具体的语言来选择。比如英文，一般是通过空格来分割词条，而中文汉字则不能通过这种方式，最简单的方式就是单个汉字作为一个词条。

TokenStream是通过从设备或者其他地方获取数据源而构造的一个流，我们要执行分词的动作，应该对这个TokenStream进行操作。

TokenStream也可以不是直接通过数据源构造的流，可以是经过分词操作之后读入TokenFilter的一个分词流。

从本地磁盘的文件读取文本内容，假定在文本文件shirdrn.txt中有下列文字：

中秋之夜，享受着月华的孤独，享受着爆炸式的思维跃迁。

通过使用FileReader构造一个流，对其进行分词：

package org.shirdrn.lucene;

import java.io.File;
import java.io.FileReader;
import java.io.Reader;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.Token;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.standard.StandardAnalyzer;

public class MyAnalyzer {

public static void main(String[] args) {
   try {
    File file = new File("E:\shirdrn.txt");
    Reader reader = new FileReader(file);
   Analyzer a = new StandardAnalyzer();
    //Analyzer a = new CJKAnalyzer();
    //Analyzer a = new ChineseAnalyzer();
    //Analyzer a = new WhitespaceAnalyzer();
    TokenStream ts = a.tokenStream("", reader);
    Token t = null;
    int n = 0;
    while((t = ts.next()) != null ){
     n ++ ;
     System.out.println("词条"+n+"的内容为 ："+t.termText());
    }
    System.out.println("== 共有词条 "+n+" 条 ==");
   } catch (Exception e) {
    e.printStackTrace();
   }
}
}

这里使用StandardAnalyzer分析器，而且使用了不带参数的构造器StandardAnalyzer()，在StandardAnalyzer类的这个不带参数的构造器中，指定了一个过滤字符数组STOP_WORDS：

public StandardAnalyzer() {
    this(STOP_WORDS);
}

而在StandardAnalyzer类中定义的STOP_WORDS 数组实际是引用StopAnalyzer类的ENGLISH_STOP_WORDS数组，该数组中可以根据需要添加过滤的字符：

public static final String[] STOP_WORDS = StopAnalyzer.ENGLISH_STOP_WORDS;

StopAnalyzer类中ENGLISH_STOP_WORDS数组原始内容如下所示：

public static final String[] ENGLISH_STOP_WORDS = {
    "a", "an", "and", "are", "as", "at", "be", "but", "by",
    "for", "if", "in", "into", "is", "it",
    "no", "not", "of", "on", "or", "such",
    "that", "the", "their", "then", "there", "these",
    "they", "this", "to", "was", "will", "with"
};

都是一些英文单词，而且这些单词对于检索关键字意义不大，所以在分析的时候应该把出现的这些单词过滤掉。

如果按照默认的STOP_WORDS运行上面我们的测试程序，则根本没有对中文起到过滤作用，测试结果如下所示：

词条1的内容为 ：中
词条2的内容为 ：秋
词条3的内容为 ：之
词条4的内容为 ：夜
词条5的内容为 ：享
词条6的内容为 ：受
词条7的内容为 ：着
词条8的内容为 ：月
词条9的内容为 ：华
词条10的内容为 ：的
词条11的内容为 ：孤
词条12的内容为 ：独
词条13的内容为 ：享
词条14的内容为 ：受
词条15的内容为 ：着
词条16的内容为 ：爆
词条17的内容为 ：炸
词条18的内容为 ：式
词条19的内容为 ：的
词条20的内容为 ：思
词条21的内容为 ：维
词条22的内容为 ：跃
词条23的内容为 ：迁
== 共有词条 23 条 ==

我们可以在org.apache.lucene.analysis.StopAnalyzer类中定制自己的STOP_WORDS，例如我们定义：

public static final String[] ENGLISH_STOP_WORDS = {
     "着", "的", "之", "式"
   };

则再执行上面的测试程序，分词过程中会过滤掉出现在ENGLISH_STOP_WORDS数组中的词条，如下所示：

词条1的内容为 ：中
词条2的内容为 ：秋
词条3的内容为 ：夜
词条4的内容为 ：享
词条5的内容为 ：受
词条6的内容为 ：月
词条7的内容为 ：华
词条8的内容为 ：孤
词条9的内容为 ：独
词条10的内容为 ：享
词条11的内容为 ：受
词条12的内容为 ：爆
词条13的内容为 ：炸
词条14的内容为 ：思
词条15的内容为 ：维
词条16的内容为 ：跃
词条17的内容为 ：迁
== 共有词条 17 条 ==

另外，因为StandardAnalyzer类具有很多带参数的构造函数，可以在实例化一个StandardAnalyzer的时候，通过构造函数定制分析器，例如使用：

public StandardAnalyzer(Set stopWords)

构造的分析器如下：

   Set stopWords = new HashSet();
    stopWords.add("着");
    stopWords.add("的");
    stopWords.add("之");
    stopWords.add("式");
    Analyzer a = new StandardAnalyzer(stopWords);

运行结果同修改StopAnalyzer类中的STOP_WORDS结果是一样的。

还有一个构造函数，通过使用数组指定stopWords的过滤词条：

public StandardAnalyzer(String[] stopWords) {
    stopSet = StopFilter.makeStopSet(stopWords);
}

调用了StopFilter类的makeStopSet方法对stopWords中的字符进行了转换处理：

public static final Set makeStopSet(String[] stopWords) {
    return makeStopSet(stopWords, false);
}

又调用了该类的一个重载的方法makeStopSet，第一个参数指定过滤词条的数组，第一个参数为boolean类型，设置是否要将大写字符转换为小写：

public static final Set makeStopSet(String[] stopWords, boolean ignoreCase) {
    HashSet stopTable = new HashSet(stopWords.length);
    for (int i = 0; i < stopWords.length; i++)
      stopTable.add(ignoreCase ? stopWords[i].toLowerCase() : stopWords[i]);
    return stopTable;
}

在StandardAnalyzer类中，没有把stopWords中的词条转换为小写。

上面的三种构造StandardAnalyzer分析器的方式都是在程序中指定要过滤词条，程序的独立性比较差，因为每次想要添加过滤词条都需要改动程序。

StandardAnalyzer还提供了两种从数据源读取过滤词条的文本的构造方式：

public StandardAnalyzer(File stopwords) throws IOException {
    stopSet = WordlistLoader.getWordSet(stopwords);
}

public StandardAnalyzer(Reader stopwords) throws IOException {
    stopSet = WordlistLoader.getWordSet(stopwords);
}

他们分别使用File和Reader分别来构造一个File对象和读取字符流，从指定的数据源读取内容，然后调用WordlistLoader类的getWordSet静态方法来对读取的字符流进行转换操作，以从File对象中获取字符为例：

public static HashSet getWordSet(File wordfile) throws IOException {
    HashSet result = new HashSet();
    FileReader reader = null;
    try {
      reader = new FileReader(wordfile);
      result = getWordSet(reader);
    }
    finally {
      if (reader != null)
        reader.close();
    }
    return result;
}

实际上仍然通过File对象构造一个FileReader读取字符流，然后从流中取得过滤的词条，加入到HashSet 中。这里调用了获取HashSet的getWordSet方法，在方法getWordSet中才真正地实现了提取词条的操作:

public static HashSet getWordSet(Reader reader) throws IOException {
    HashSet result = new HashSet();
    BufferedReader br = null;
    try {
      if (reader instanceof BufferedReader) {
        br = (BufferedReader) reader;
      } else {
        br = new BufferedReader(reader);
      }
      String word = null;
      while ((word = br.readLine()) != null) {
        result.add(word.trim());
      }
    }
    finally {
      if (br != null)
        br.close();
    }
    return result;
}

这里提取词条要求读入的文本是按照行来分割过滤词条的，即每行作为一个词条。对于中文，只能是每个字作为一行，如果以两个的词语作为一行，处理后根本没有加入到过滤词条的HashSet中，这时因为StandardAnalyzer分析器是以单个中文汉字作为一个词条的。我们可以定制自己的分析器。

测试一下上述说明的情况。

在本地磁盘上建立一个txt文本stopWords.txt，添加过滤词条：

着
的
之
式

测试程序如下所示：

   public static void main(String[] args) {
   try {
    File file = new File("E:\shirdrn.txt");
    FileReader stopWords = new FileReader("E:\stopWords.txt");
    Reader reader = new FileReader(file);   
    Analyzer a = new StandardAnalyzer(stopWords);
    TokenStream ts = a.tokenStream("", reader);
    Token t = null;
    int n = 0;
    while((t = ts.next()) != null ){
     n ++ ;
     System.out.println("词条"+n+"的内容为 ："+t.termText());
    }
    System.out.println("== 共有词条 "+n+" 条 ==");
   
   } catch (Exception e) {
    e.printStackTrace();
   }
}

测试输出结果同前面的一样，都对词条进行了过滤：

词条1的内容为 ：中
词条2的内容为 ：秋
词条3的内容为 ：夜
词条4的内容为 ：享
词条5的内容为 ：受
词条6的内容为 ：月
词条7的内容为 ：华
词条8的内容为 ：孤
词条9的内容为 ：独
词条10的内容为 ：享
词条11的内容为 ：受
词条12的内容为 ：爆
词条13的内容为 ：炸
词条14的内容为 ：思
词条15的内容为 ：维
词条16的内容为 ：跃
词条17的内容为 ：迁
== 共有词条 17 条 ==