个人项目----词频统计（补全功能）

对每个功能 (或/和子功能)的预计花费时间

功能	预计时间（min）	实际时间（min）
文件存放、分词、词频统计	60	82
词频排序	20	27
读取目录下书目	15	26
主函数设计	50	74

词频统计psp

日期	类型	任务	开始时间	结束时间	被打断时间	计划（min）	实际（min）
2016.10.07	需求分析	看spec，分析每个功能的需求	14：59	15：38	3	30	36
2016.10.07	编码学习	设计文件存放、分词、词频统计，阅读同学的代码	15：44	17：11	5	60	82
2016.10.07	编码学习	词频排序、读取目录下书目、主函数设计	19：00	21：26	19	85	127
2016.10.08	编码学习	学习重定向	15.01	15：39	2	30	36
2016.10.08	代码复审	写博客、调试运行结果	15：45	17：12	6	30	81
2016.10.08	代码复审	写博客、调试运行结果	17：53	18：26	3		30
2016.10.09	总结psp	总结各项时间，总结心得，发布博客	9：48	10：57	7	30	62

 对比分析

拖拉很久的作业，利用这个假期终于能勉强补上点了，之前动手搜集了一些资料进行学习，一直摸不清头绪，这次看了同学的代码才弄清楚大概。对于预期和实际上的差距，主要有下面几个原因：

看过资料后感觉上程序的流程是这样，但实际动手做起来的时候会遇到很多细节上的问题。例如在DOS下运行程序时会出现“wordcounta.java:13: 错误: 找不到符号”这样的错误提示。

在编写程序时遇到类型、声明类的格式不对，调用方法的规则不正确等等错误。在更改这些错误上花费了不少的时间。

学习代码时遇到了很多问题。例如分词时split()方法中要用的参数的使用，BufferedReader、FileReader的用法，Map对存储到ArrayList的方法等等。

需求分析

　　作业中需要完成四个功能。

　　第一，用户输入的小文件进行词频统计。输出统计的单词总数，每个单词的词频。可以利用这个方法，来满足其他需求下的这个功能。

　　第二，用户可以输入文件的名字来对此文件进行词频统计。输出统计的单词总数，每个单词的词频。

　　第三，用户输入文件所在目录。在该目录下显示所有.txt文件，随后对每个文件进行词频统计。输出结果中应显示单词总数，以及不重复的单词数。由于在书目数量过多的情况下，显示每个单词的词频结果篇幅非常长，用户使用起来非常不方便。于是要在结果中只显示每个文档词频排名前十的结果。

　　第四，用户输入重定向指令，在重定向的目录下对文件进行词频统计。输出统计的单词总数，每个单词的词频。

功能实现

创建wordcount类，该类实现了词频统计的基本功能。包含以下三个方法：

　　public Map<String, Integer> map(File dir)

　　public ArrayList<Map.Entry<String,Integer>> SortMap(Map<String,Integer> oldmap)

　　public File[] Outputlist(Scanner sc)

public Map<String, Integer> map(File dir):对输入的File文件读取，对文件每一行分词去空格及标点后存入ls队列，对ls中的单词进行统计，存入“Map对”wc中。Map<String,Integer>中的String表示单词变量，Integer表示出现次数变量。

public Map<String, Integer> map(File dir) throws IOException{
           BufferedReader reader = new BufferedReader(new FileReader(dir));
           List<String> ls = new ArrayList<String>();
           String readLine = null;  //定义readLine初始值
           Map<String,Integer> wc = new TreeMap<String,Integer>();
           while((readLine = reader.readLine()) != null){    
                 String[] wordsArr1 = readLine.split("[^a-zA-Z]");  //将每个单词分割    
                 for (String word : wordsArr1) {    
                     if(word.length() != 0){  //去除长度为0的单词    
                         ls.add(word);    //将每个单词存入列表
                     }    
                 }    
             }    
            reader.close();  //关闭流

            //单词的词频统计  
            for (String li : ls) {  
                if(wc.get(li) != null){  //get(li)表示获得当前的单词数
                    wc.put(li,wc.get(li) + 1);  
                }else{  
                    wc.put(li,1);  
                }  
      
            }
            return wc;
       }    

public ArrayList<Map.Entry<String,Integer>> SortMap(Map<String,Integer> oldmap)：对“Map对”进行排序，按照Map中Integer的降序排序。

    public ArrayList<Map.Entry<String,Integer>> SortMap(Map<String,Integer> oldmap){  
        
           ArrayList<Map.Entry<String,Integer>> list = new ArrayList<Map.Entry<String,Integer>>(oldmap.entrySet());  
             
           Collections.sort(list,new Comparator<Map.Entry<String,Integer>>(){  //降序  
               @Override  
               public int compare(Entry<String, Integer> o1, Entry<String, Integer> o2) {  
                   return o2.getValue().compareTo(o1.getValue());  
               }  
           }); 
           
           return list;
       }

public File[] Outputlist(Scanner sc)：对输入的地址查找txt文档，把文档存入File数组中，输出数组，并返回数组，以便对数组下的每个文档进行词频统计。

public File[] Outputlist(Scanner sc) throws IOException{
           File file=new File(sc.nextLine());
           File[] tempList = file.listFiles();
           System.out.println("该目录下的书目有：");
           for (int i = 0; i < tempList.length; i++) {
                if (tempList[i].isFile()) {
                System.out.println(tempList[i].getName());
               }
           }
           return tempList; 
    }

创建wordcounta,wordcountb,wordcountc,wordcountd四个类，对应着分别实现了需求的四个功能

wordcounta:

public class wordcounta {
    public static void main(String[] args) throws IOException {
        // TODO Auto-generated method stub    
        @SuppressWarnings("resource")
        Scanner input = new Scanner(System.in);
        wordcount yl = new wordcount();
        File file = new File(input.nextLine());
        Map<String, Integer> wc = yl.map(file);
        ArrayList<Map.Entry<String,Integer>> list =  yl.SortMap(wc);
        int j = 0;//出事单词总数
        
        for(int k = 0;k < list.size();k++){
               j+=list.get(k).getValue();
        }
        System.out.println("单词的总数是:"+j);
        for(int k = 0;k < list.size();k++){  
               System.out.println(list.get(k).getKey()+ ": " +list.get(k).getValue());  
        } 

    } 
       
}

运行结果如下

wordcountb：

public class wordcountb {

    public static void main(String[] args) throws IOException {
        // TODO Auto-generated method stub
        wordcount yl = new wordcount();
        Scanner inputxt = new Scanner(System.in);
        File[] tempList = yl.Outputlist(inputxt);
        for(int i = 0;i<tempList.length;i++){    //对目录下的每个文件进行统计
            System.out.println(tempList[i].getName());
            Map<String, Integer> wc = yl.map(tempList[i]);//统计词频
            ArrayList<Map.Entry<String,Integer>> list = yl.SortMap(wc);//词频排序
            int j = 0;
             for(int k = 0;k < list.size();k++)
            {
                j+=list.get(k).getValue();
            }
                
            System.out.println("单词的总数是"+j+"  "+"不重复的单词的个数"+list.size());  
            if(list.size()>=10){
                for(int m = 0; m<10; m++){  
                    System.out.println(list.get(m).getKey()+ ": " +list.get(m).getValue());  
                }
            }else{
               for(int m = 0; m<list.size(); m++){  
                   System.out.println(list.get(m).getKey()+ ": " +list.get(m).getValue());  
               }
              System.out.println("该文档下不重复的单词数不足十个");
            }
        }
        
    }

}

运行结果如下

wordcountc:

public class wordcountc {

    public static void main(String[] args) throws IOException {
        // TODO Auto-generated method stub
        @SuppressWarnings("resource")
        Scanner input = new Scanner(System.in);
        String path = "D:\小说\";
        path += input.next();
        File file = new File(path+".txt");
        wordcount yl = new wordcount();
        Map<String, Integer> wc = yl.map(file);
        ArrayList<Map.Entry<String,Integer>> list =  yl.SortMap(wc);
        int j = 0;
        
        for(int k = 0;k < list.size();k++){
               j+=list.get(k).getValue();
        }
        System.out.println("单词的总数是:"+j);
        for(int k = 0;k < list.size();k++){  
               System.out.println(list.get(k).getKey()+ ": " +list.get(k).getValue());  
        } 
    }
    
}

结果如下

 

wordcountd：

public class wordcountd {

    public static void main(String[] args) throws IOException {
        // TODO Auto-generated method stub
        if (args.length == 0) {
            Scanner in = new Scanner(System.in);
            FileWriter out = new FileWriter("D:\小说\new.txt"); 
            while (in.hasNext()) {
                out.write(in.nextLine()+"
"); 
            }
            out.close();
            in.close(); 
        }
        File file = new File("D:\小说\new.txt");
        wordcount yl = new wordcount();
        Map<String, Integer> wc = yl.map(file);
        ArrayList<Map.Entry<String,Integer>> list =  yl.SortMap(wc);
        
        int j = 0;
        for(int k = 0;k < list.size();k++){
               j+=list.get(k).getValue();
        }
        System.out.println("单词的总数是:"+j);
        for(int k = 0;k < list.size();k++){  
               System.out.println(list.get(k).getKey()+ ": " +list.get(k).getValue());  
        } 
        
    }

}

结果如下

HTTP:https://git.coding.net/YangXiaomoo/wordCountNO.1.git

SSH：git@git.coding.net:YangXiaomoo/wordCountNO.1.git

GIT：git://git.coding.net/YangXiaomoo/wordCountNO.1.git