重写lucene.net的分词器支持3.0.3.0版本

lucene.net中每个分词器都是一个类，同时有一个辅助类，这个辅助类完成分词的大部分逻辑。分词类以Analyzer结尾，辅助类通常以Tokenizer结尾。分类词全部继承自Analyzer类，辅助类通常也会继承某个类。

首先在Analysis文件夹下建立两个类，EasyAnalyzer和EasyTokenizer。

using Lucene.Net.Analysis;
using System.IO;

namespace LuceneNetTest
{
    public class EasyTokenizer : CharTokenizer
    {
        private TextReader reader;
        public EasyTokenizer(TextReader reader)
            : base(reader)
        {
            this.reader = reader;
        }
        protected override bool IsTokenChar(char c)
        {
            //return true;  //整行输出
            //return c != ','; //逗号分隔
            return c != ' '; //空格划分
        }
    }
}

using Lucene.Net.Analysis;
using System.IO;

namespace LuceneNetTest
{
    public class EsayAnalyzer : Analyzer
    {
        public override TokenStream TokenStream(string fieldName, TextReader reader)
        {
            return new EasyTokenizer(reader);
        }
    }
}

其中分词辅助类中的IsTokenChar这个函数是分词的关键，分词核心逻辑会根据这个函数返回的值进行分词，如果返回false，则会以这个字符进行一次划分。

测试代码如下：

using Lucene.Net.Analysis;
using Lucene.Net.Analysis.Tokenattributes;
using System;
using System.IO;
namespace LuceneNetTest
{
    class Program
    {
        static void Main(string[] args)
        {
            const string testwords = "大家好,I can speak chinese!";
            EsayAnalyzer simple = new EsayAnalyzer();
            TokenStream ts = simple.ReusableTokenStream("", new StringReader(testwords));
            while (ts.IncrementToken())
            {
                ITermAttribute attribute = ts.GetAttribute<ITermAttribute>();
                Console.WriteLine(attribute.Term);
            }
        }
    }
}

ITermAttribute：The term text of a Token.