单词统计2 续

 这次的课堂作业是接着上一次的课堂作业。第一步：输出单个文件中的前 N 个最常出现的英语单词。输出文件中所有不重复的单词，按照出现次数由多到少排列，出现次数同样多的，以字典序排列。 指定文件目录，对目录下每一个文件执行统计的操作。 指定文件目录，是会递归遍历目录下的所有子目录的文件进行统计单词的功能。输出出现次数最多的前 n 个单词。

代码为：

package piao;
import java.io.BufferedReader;
import java.io.FileReader;
import java.util.ArrayList;
import java.util.Collections;
import java.util.Comparator;
import java.util.List;
import java.util.Map;
import java.util.Scanner;
import java.util.TreeMap;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class piao { 
            public static void main(String[] args) throws Exception {
                BufferedReader reader = new BufferedReader(new FileReader(
                        "D:\飘.txt"));
                StringBuffer buffer = new StringBuffer();
                String line = null;
                while ((line = reader.readLine()) != null) {
                    buffer.append(line);
                }
                reader.close();
                Pattern expression = Pattern.compile("[a-zA-Z]+");// 定义正则表达式匹配单词
                String string = buffer.toString();
                Matcher matcher = expression.matcher(string);//
                Map<String, Integer> map = new TreeMap<String, Integer>();
                String word = "";
                int times = 0;


  while (matcher.find()) {// 是否匹配单词
                    word = matcher.group();// 得到一个单词-树映射的键
                    if (map.containsKey(word)) {// 如果包含该键，单词出现过
                        times = map.get(word);// 得到单词出现的次数
                        map.put(word, times + 1);
                    } else {
                        map.put(word, 1);// 否则单词第一次出现，添加到映射中
                    }
                }
                /*
                 * 核心：如何按照TreeMap 的value排序而不是key排序.将Map.Entry放在集合里， 重写比较器，在用
                 * Collections.sort(list, comparator);进行 排序
                 */
         
                List<Map.Entry<String, Integer>> list = new ArrayList<Map.Entry<String, Integer>>(
                        map.entrySet());
                /*
                 * 重写比较器
                 * 取出单词个数（value）比较
                 */
                Comparator<Map.Entry<String, Integer>> comparator = new Comparator<Map.Entry<String, Integer>>() {
                    public int compare(Map.Entry<String, Integer> left,
                            Map.Entry<String, Integer> right) {
                        return (left.getValue()).compareTo(right.getValue());
                    }
                };
                Collections.sort(list, comparator);// 排序
                System.out.println("请输入要输出的单词个数：");
                Scanner s=new Scanner(System.in);
                int n=s.nextInt();
                int last = list.size() - 1;
                for (int i = last; i > last - n; i--) {
                    String key = list.get(i).getKey();
                    Integer value = list.get(i).getValue();
                    System.out.println(key + " :" + value);
                }
            }

            
        }

结果截图为：

第二步：

支持 stop words。在一本小说里， 频率出现最高的单词一般都是 "a",  "it", "the", "and", "this", 这些词， 可以做一个 stop word 文件 （停词表）， 在统计词汇的时候，跳过这些词。  我们把这个文件叫 "stopwords.txt" 。

思路就是，建立一个stopwords.txt文本文件，把一些常用词放在这个表里，然后利用这个停词表，在输出文件中出现频率最高的单词时，去掉这几个单词。

代码为：

package piao;
import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.nio.file.Paths;
import java.util.ArrayList;
import java.util.Collections;
import java.util.Comparator;
import java.util.HashSet;
import java.util.List;
import java.util.Map;
import java.util.Scanner;
import java.util.TreeMap;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class piao2 {    
    public class stopwords
    {
        HashSet<String> set = new HashSet<>();

        public stopwords()
        {
            String File = "";
            try
            {
                String path = "D:\stopwords.txt";
                Scanner in = null;
                piao2 pp2=new piao2();
                in = new Scanner(pp2.get(path));
                while (in.hasNextLine())
                {
                    File += in.nextLine();
                }
            } catch (Exception e)
            {
                System.err.println("无该文件");
                e.printStackTrace();
            }
            for (String string : File.split(" "))
            {
                set.add(string);
            }
            System.out.println(set);
        }
        
        public boolean get(String a)
        {
            return set.contains(a);
        }
        }

        

    public static void main(String[] args) throws Exception {
        BufferedReader r = new BufferedReader(new FileReader("D:\飘.txt"));
        StringBuffer buffer = new StringBuffer();
        String line = null;
        while ((line = r.readLine()) != null) {
              buffer.append(line);
        }
        r.close();
        Pattern expression = Pattern.compile("[a-zA-Z]+");// 定义正则表达式匹配单词
        String s = buffer.toString();
        Matcher m = expression.matcher(s);
        Map<String, Integer> map = new TreeMap<String, Integer>();
        String word = "";
        int times = 0;
        while (m.find()) {// 是否匹配单词
            word = m.group();// 得到一个单词-树映射的键
            if (map.containsKey(word)) {// 如果包含该键，单词出现过
                times = map.get(word);// 得到单词出现的次数
                map.put(word, times + 1);
            } 
            else {
                map.put(word, 1);// 否则单词第一次出现，添加到映射中
            }
        }
        List<Map.Entry<String, Integer>>list = new ArrayList<Map.Entry<String,Integer>>(map.entrySet());
        Collections.sort(list, new Comparator<Map.Entry<String, Integer>>(){// 排序,打印
            public int compare(Map.Entry<String, Integer> left,Map.Entry<String, Integer> right) {
                    return (left.getValue()).compareTo(right.getValue());
                }
            });
        int last = list.size() - 1;
        for (int i = last; i > 0; i--) {
            String key = list.get(i).getKey();
            Integer value = list.get(i).getValue();
            System.out.println(key + " :" + value);
        }
    }



    public Readable get(String path) {
        // TODO Auto-generated method stub
        return null;
    }

    
    
}

这个是stopwords.txt里的内容

结果截图：