利用IK Analyzer分词（txt输入输出）

1  说明

• 利用IK包分词较为便捷，该分词方法为正向匹配，故选此方法。
• 使用程序时需要导入分词包。
• 本程序需要用到的分词包已上传至附件。
• 本程序的输入输出文件名，请在主函数中更改。

2  程序

import java.io.*;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.wltea.analyzer.lucene.IKAnalyzer;

public class IK_FC {
    
    public static String Seg(String sentence) throws IOException {
        String text="";
        //创建分词对象
        Analyzer anal=new IKAnalyzer(true);
        StringReader reader=new StringReader(sentence);
        //分词
        TokenStream ts=anal.tokenStream("", reader);
        CharTermAttribute term=ts.getAttribute(CharTermAttribute.class);
        //遍历分词数据
        while(ts.incrementToken()){
            text+=term.toString()+"/";
        }
        reader.close();
        anal.close();
        return text.trim()+"
";
    }

    public static void main(String[] args) {
        File file_ys = new File("E:/SimHash文档库/原始文档10.txt");//原始文件
        File file_fch = new File("E:/SimHash文档库/对比文档10.txt");//分词后文件
        try {
            FileReader fr = new FileReader(file_ys);
            BufferedReader bufr = new BufferedReader(fr);
            FileWriter fw = new FileWriter(file_fch);
            BufferedWriter bufw = new BufferedWriter(fw);
            String s = null;
            int i = 0;
            while((s = bufr.readLine()) != null) {
                i++;
                String s_fch = IK_FC.Seg(s);
                System.out.println("第"+i+"行的原始数据：");
                System.out.println(s);
                System.out.println("第"+i+"行分词后的结果：");
                System.out.println(s_fch);
                bufw.write(s_fch);
                bufw.newLine();
            }
            bufr.close();
            fr.close();
            bufw.close();
            fw.close();
            System.out.println("文件处理完毕！");
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

3  结果