zoukankan      html  css  js  c++  java
  • C#中文分词算法:ChineseAnalyzer

    1.首先需要引用 2个dll库文件 Lucene.Net.dll + Lucene.China.dll

    using Lucene.Net;
    using Lucene.Net.Analysis;
    using Lucene.China;

    2.还有一个data文件夹需要放在C:\Program Files (x86)\Common Files\microsoft shared\DevServer\10.0目录下    

    里面有三个文件

    (1).sDict.txt

    (2).sDict.txt.bak

    (3).sNoise.txt

    这三个文件主要是用来根据那些词去分词的词语 如图:


    代码实例:

    protected void Button1_Click(object sender, EventArgs e)
        {
            StringBuilder sb = new StringBuilder();
            sb.Remove(0, sb.Length);
            string t1 = "";
            int i = 0;
            Analyzer analyzer = new Lucene.China.ChineseAnalyzer();
            StringReader sr = new StringReader(TextBox1.Text);
            TokenStream stream = analyzer.TokenStream(null, sr);

            long begin = System.DateTime.Now.Ticks;
            Token t = stream.Next();
            while (t != null)
            {
                t1 = t.ToString();   //显示格式: (关键词,0,2) ,需要处理
                t1 = t1.Replace("(", "");
                char[] separator = { ',' };
                t1 = t1.Split(separator)[0];

                sb.Append(i + ":" + t1 + "\r\n");
                t = stream.Next();
                i++;
            }
            TextBox2.Text = sb.ToString();
            long end = System.DateTime.Now.Ticks; //100毫微秒
            int time = (int)((end - begin) / 10000); //ms

           TextBox2.Text += "耗时" + (time) + "ms \r\n=====\r\n";
        }

    运行结果如图:

  • 相关阅读:
    vc 获得文件相对路径
    C#关闭MessageBox消息框(转)
    ip地址及地理位置查询
    WinDbg关联dump文件
    国外程序员推荐:每个程序员都应读的书
    [转]史上最全的C位域总结201036 2:58:00
    android 屏幕保持唤醒 不锁屏
    [转]win7如何共享
    一些DirectUI方面的资料
    计算器程序,可以计算正实数范围内的任何数据的加减乘除括号,混合运算
  • 原文地址:https://www.cnblogs.com/hww9011/p/3029207.html
Copyright © 2011-2022 走看看