教你用java统计目录下所有文档的词频

本文是统计目录下所有文档的词频top10，非单个文档，包含中文和英文。

直接上代码：

package com.huawei.wordcount;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Collections;
import java.util.Comparator;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Map.Entry;

public class WordCount {

    public static void main(String args[]) throws Exception {
        String filebashpath = "/Users/gwl/Documents/wordcount/aa/";
        HashMap<String, Integer> map = new HashMap<String, Integer>();
        printTen(filebashpath, map);
    }

    public static void printTen(String filepath, HashMap<String, Integer> map) {

        ArrayList<File> files = getListFiles(filepath);
        BufferedReader br = null;
        String line = null;

        try {
            for (File file : files) {
                //对于swp、swo等这些不正常退出产生的文件进行排除
                if (file.toString().contains(".sw")) {
                    continue;
                }
                br = new BufferedReader(new FileReader(file));
                while ((line = br.readLine()) != null) {
                    line.toLowerCase();
                    //匹配分隔符，包括标点符号和一些特殊字符。
                    String reg1 = "\,|\。|\，|\；|\ |\#|\$|\^|\&|\*|\?|\.|\!|\:|\(|\)|\+|\=|\[|\]|\;";
                    //输出的单词或语句必须是中文、大小写字母、数字、"-"、"_"组成。
                    String reg2 = "^[\u4e00-\u9fa5_a-zA-Z0-9]+$";
                    String str[] = line.split(reg1);
                    for (String s : str) {
                        if (s.matches(reg2)) {
                            if (!map.containsKey(s)) {
                                map.put(s, 1);
                            } else {
                                map.put(s, map.get(s) + 1);
                            }
                        }
                    }
                }
            }

        } catch (IOException ioException) {
            ioException.printStackTrace();
        } finally {
            if (br != null) {
                try {
                    br.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }

        List<Entry<String, Integer>> list = 
                new ArrayList<Entry<String, Integer>>(map.entrySet());

        Collections.sort(list, new Comparator<Map.Entry<String, Integer>>() {
            // 降序排序
            public int compare(Entry<String, Integer> o1, Entry<String, Integer> o2) {
                return o2.getValue().compareTo(o1.getValue());
            }
        });

        int i = 10;
        for (Entry<String, Integer> e : list) {
            if (i > 0) {
                System.out.println(e.getKey() + ":" + e.getValue());
                i--;
            }
        }
    }

    public static ArrayList<File> getListFiles(Object obj) {
        File directory = null;
        
        if (obj instanceof File) {
            directory = (File) obj;
        } else {
            directory = new File(obj.toString());
        }
        
        ArrayList<File> files = new ArrayList<File>();
        if (directory.isFile()) {
            files.add(directory);
            return files;
        } else if (directory.isDirectory()) {
            File[] fileArr = directory.listFiles();
            for (int i = 0; i < fileArr.length; i++) {
                File fileOne = fileArr[i];
                files.addAll(getListFiles(fileOne));
            }
        }
        
        return files;
    }
}

注：分隔符正则匹配需要根据各自的情况进行定义。

当然数据量比较大的时候需要采用大数据计算，比如mapreduce，那样的话会简单很多。