单词统计之单词频率统计

　　

第1步：输出单个文件中的前 N 个最常出现的英语单词。

功能1：输出文件中所有不重复的单词，按照出现次数由多到少排列，出现次数同样多的，以字典序排列。

功能2： 指定文件目录，对目录下每一个文件执行统计的操作。 

功能3：指定文件目录，是会递归遍历目录下的所有子目录的文件进行统计单词的功能。

功能4：输出出现次数最多的前 n 个单词， 

 例如， 提示统计统计前多少名：输入10。 就是输出最常出现单词的前 10 名。 当没有指明数量的时候，我们默认列出所有单词的频率。

第2步：第二步:  支持 stop words

在一本小说里， 频率出现最高的单词一般都是 "a",  "it", "the", "and", "this", 这些词， 可以做一个 stop word 文件 （停词表）， 在统计词汇的时候，跳过这些词。  我们把这个文件叫 "stopwords.txt" file. 

第三步:  想看看常用的短语是什么， 怎么办呢？ 

先定义短语："两个或多个英语单词， 它们之间只有空格分隔".   请看下面的例子：

 

　　hello world   //这是一个短语

 

　　hello, world //这不是一个短语

 

同一频率的词组， 按照字典序来排列。

第四步：把动词形态都统一之后再计数。

想找到常用的单词和短语，但是发现英语动词经常有时态和语态的变化，导致同一个词，同一个短语却被认为是不同的。 怎么解决这个问题呢？

假设我们有这样一个文本文件，这个文件的每一行都是这样构成：

动词原型  动词变形1 动词变形2... ，词之间用空格分开。

e.g.  动词 TAKE 有下面的各种变形：take takes took taken taking

我们希望在实现上面的各种功能的时候，有一个选项， 就是把动词的各种变形都归为它的原型来统计。 

功能 支持动词形态的归一化

实验代码：

package sy0509_ZiMu;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.text.DecimalFormat;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.Iterator;
import java.util.List;
import java.util.StringTokenizer;


public class sy0509 {
public static void main(String[] args)throws IOException
{
    List<Integer> list=new ArrayList<>();
    DecimalFormat df=new DecimalFormat("######0.00");    //格式化
    File f = new File("D:\飘英文版.txt");
     FileInputStream fip = new FileInputStream("D:\飘英文版.txt");
    InputStreamReader reader = new InputStreamReader(fip, "gbk");
    StringBuffer sb = new StringBuffer();
    while (reader.ready()) {
        sb.append((char) reader.read());
    }
    System.out.println(sb.toString());
    reader.close();
    fip.close();
    
    int i;
    String A=sb.toString();
    String M="abcdefghijklmnopqrstuvwxyz";
   String temp = "";
    char NUM[]=new char[A.length()];
    char Z[]=new char[26];
    int X[]=new int[26];
    int MAX=0;
    Z=M.toCharArray();
    for(int k=0;k<26;k++)
    {
        X[k]=0;
    for(i=0;i<A.length();i++)
    {
        NUM[i]=A.charAt(i);
        if(Z[k]==NUM[i]||Z[k]==ch(NUM[i]))
        {
            X[k]++;
        }
    }
    }
    System.out.println("这篇文章中英文字母个数分别为:");
    double sum=0;
    System.out.println("////////////排序如下:");
    for(i=0;i<25;i++)
    for(int k=0;k<25-i;k++)
    {
    if(X[k]<X[k+1])
    {
    int temp2=X[k];
    X[k]=X[k+1];
    X[k+1]=temp2;
    char temp3=Z[k];
    Z[k]=Z[k+1];
    Z[k+1]=temp3;
    }
    }
    for(i=0;i<26;i++)
    {
    System.out.println(Z[i]+"字母个数为:"+X[i]);
    sum=sum+X[i];
    }
    for(i=0;i<26;i++)
    {
    double jkl=(X[i])/sum*100;
    System.out.println(Z[i]+"字母频率为:"+df.format(jkl)+"%");
    }
    StringTokenizer st = new StringTokenizer(sb.toString(),",.! 
");
    String []a1=StatList(sb.toString());
    int[]b1=StatList1(sb.toString());
    System.out.println("//////////////////////////////");
    for(i=0;i<a1.length-1;i++)
    for(int j=0;j<a1.length-1-i;j++)
    {
    if(b1[j]<b1[j+1])
    {
    int temp6=b1[j];
    b1[j]=b1[j+1];
    b1[j+1]=temp6;
    String temp7=a1[j];
    a1[j]=a1[j+1];
    a1[j+1]=temp7;
    }
    }
    for(i=0;i<a1.length-1;i++)
    {
    System.out.println("单词:"+a1[i]+" 且出现的次数:"+b1[i]);
    }
    }
    static char ch(char c)
    {
    if(!(c>=97&&c<=122))
    c+=32;
    return c;
    }
    static String[] StatList(String str) {
    StringBuffer sb = new StringBuffer();
    HashMap<String ,Integer> has = new HashMap<String ,Integer> (); // 打开一个哈希表
    String[] slist = str.split("\W+");
    int sum=0;
    int sum1=0;
    for (int i = 0; i < slist.length; i++) {
    if (!has.containsKey(slist[i])) { // 若尚无此单词
    has.put(slist[i], 1);
    sum++;
    sum1++;
    } else {//如果有，就在将次数加1
    Integer nCounts = has.get(slist[i]);

    has.put(slist[i],nCounts+1 );
    }
    }
    int temp=0;
    int temp1=0;
    String []a=new String[sum];
    int []b=new int[sum1];
    Iterator iterator = has.keySet().iterator();
    while(iterator.hasNext()){
    String word = (String) iterator.next();
    a[temp]=word;
    temp++;
    }
    return a;
    }
    static int[] StatList1(String str) {
    StringBuffer sb = new StringBuffer();
    HashMap<String ,Integer> has = new HashMap<String ,Integer> (); // 打开一个哈希表
    String[] slist = str.split("\W+");
    int sum=0;
    int sum1=0;
    for (int i = 0; i < slist.length; i++) {
    if (!has.containsKey(slist[i])) { // 若尚无此单词
    has.put(slist[i], 1);
    sum++;
    sum1++;
    } else {//如果有，就在将次数加1
    Integer nCounts = has.get(slist[i]);

    has.put(slist[i],nCounts+1 );

    }
    }
    int temp=0;
    int temp1=0;
    String []a=new String[sum];
    int []b=new int[sum1];
    Iterator iterator = has.keySet().iterator();
    while(iterator.hasNext()){
    String word = (String) iterator.next();
    b[temp1]=has.get(word);
    temp1++;
    }
    return b;
    }
}//jcc
package sy0509_ZiMu;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.text.DecimalFormat;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.Iterator;
import java.util.List;
import java.util.StringTokenizer;


public class sy0509 {
public static void main(String[] args)throws IOException
{
    List<Integer> list=new ArrayList<>();
    DecimalFormat df=new DecimalFormat("######0.00");    //格式化
    File f = new File("D:\飘英文版.txt");
     FileInputStream fip = new FileInputStream("D:\飘英文版.txt");
    InputStreamReader reader = new InputStreamReader(fip, "gbk");
    StringBuffer sb = new StringBuffer();
    while (reader.ready()) {
        sb.append((char) reader.read());
    }
    System.out.println(sb.toString());
    reader.close();
    fip.close();
    
    int i;
    String A=sb.toString();
    String M="abcdefghijklmnopqrstuvwxyz";
   String temp = "";
    char NUM[]=new char[A.length()];
    char Z[]=new char[26];
    int X[]=new int[26];
    int MAX=0;
    Z=M.toCharArray();
    for(int k=0;k<26;k++)
    {
        X[k]=0;
    for(i=0;i<A.length();i++)
    {
        NUM[i]=A.charAt(i);
        if(Z[k]==NUM[i]||Z[k]==ch(NUM[i]))
        {
            X[k]++;
        }
    }
    }
    System.out.println("这篇文章中英文字母个数分别为:");
    double sum=0;
    System.out.println("////////////排序如下:");
    for(i=0;i<25;i++)
    for(int k=0;k<25-i;k++)
    {
    if(X[k]<X[k+1])
    {
    int temp2=X[k];
    X[k]=X[k+1];
    X[k+1]=temp2;
    char temp3=Z[k];
    Z[k]=Z[k+1];
    Z[k+1]=temp3;
    }
    }
    for(i=0;i<26;i++)
    {
    System.out.println(Z[i]+"字母个数为:"+X[i]);
    sum=sum+X[i];
    }
    for(i=0;i<26;i++)
    {
    double jkl=(X[i])/sum*100;
    System.out.println(Z[i]+"字母频率为:"+df.format(jkl)+"%");
    }
    StringTokenizer st = new StringTokenizer(sb.toString(),",.! 
");
    String []a1=StatList(sb.toString());
    int[]b1=StatList1(sb.toString());
    System.out.println("//////////////////////////////");
    for(i=0;i<a1.length-1;i++)
    for(int j=0;j<a1.length-1-i;j++)
    {
    if(b1[j]<b1[j+1])
    {
    int temp6=b1[j];
    b1[j]=b1[j+1];
    b1[j+1]=temp6;
    String temp7=a1[j];
    a1[j]=a1[j+1];
    a1[j+1]=temp7;
    }
    }
    for(i=0;i<a1.length-1;i++)
    {
    System.out.println("单词:"+a1[i]+" 且出现的次数:"+b1[i]);
    }
    }
    static char ch(char c)
    {
    if(!(c>=97&&c<=122))
    c+=32;
    return c;
    }
    static String[] StatList(String str) {
    StringBuffer sb = new StringBuffer();
    HashMap<String ,Integer> has = new HashMap<String ,Integer> (); // 打开一个哈希表
    String[] slist = str.split("\W+");
    int sum=0;
    int sum1=0;
    for (int i = 0; i < slist.length; i++) {
    if (!has.containsKey(slist[i])) { // 若尚无此单词
    has.put(slist[i], 1);
    sum++;
    sum1++;
    } else {//如果有，就在将次数加1
    Integer nCounts = has.get(slist[i]);

    has.put(slist[i],nCounts+1 );
    }
    }
    int temp=0;
    int temp1=0;
    String []a=new String[sum];
    int []b=new int[sum1];
    Iterator iterator = has.keySet().iterator();
    while(iterator.hasNext()){
    String word = (String) iterator.next();
    a[temp]=word;
    temp++;
    }
    return a;
    }
    static int[] StatList1(String str) {
    StringBuffer sb = new StringBuffer();
    HashMap<String ,Integer> has = new HashMap<String ,Integer> (); // 打开一个哈希表
    String[] slist = str.split("\W+");
    int sum=0;
    int sum1=0;
    for (int i = 0; i < slist.length; i++) {
    if (!has.containsKey(slist[i])) { // 若尚无此单词
    has.put(slist[i], 1);
    sum++;
    sum1++;
    } else {//如果有，就在将次数加1
    Integer nCounts = has.get(slist[i]);

    has.put(slist[i],nCounts+1 );

    }
    }
    int temp=0;
    int temp1=0;
    String []a=new String[sum];
    int []b=new int[sum1];
    Iterator iterator = has.keySet().iterator();
    while(iterator.hasNext()){
    String word = (String) iterator.next();
    b[temp1]=has.get(word);
    temp1++;
    }
    return b;
    }
}

实验结果：