| 这个作业属于哪个课程 | https://edu.cnblogs.com/campus/zswxy/computer-science-class4-2018/ |
|---|---|
| 这个作业要求在哪里 | https://edu.cnblogs.com/campus/zswxy/computer-science-class4-2018/homework/11880 |
| 这个作业的目标 | 能够实现统计文本文档词频的控制台程序,进行代码优化，完成代码完成词频统计个人作业，实现要求。 |
| 其他参考文献 | 《构建之法》、《现代软件工程》、CSDN、博客园、Git |
1、项目链接(https://gitee.com/kckr/project-java/tree/master/20188527)
2、PSP表格
| PSP2.1 | Personal Software Process Stages | 预估耗时（分钟） | 实际耗时（分钟） |
|---|---|---|---|
| Planning | 计划 | 15 | 20 |
| • Estimate | • 估计这个任务需要多少时间 | 15 | 20 |
| Development | 开发 | 400 | 460 |
| • Analysis | • 需求分析 (包括学习新技术) | 40 | 60 |
| • Design Spec | • 生成设计文档 | 20 | 20 |
| • Design Review | • 设计复审 | 10 | 15 |
| • Coding Standard | • 代码规范 (为目前的开发制定合适的规范) | 20 | 25 |
| • Design | • 具体设计 | 20 | 20 |
| • Coding | • 具体编码 | 200 | 220 |
| • Code Review | • 代码复审 | 30 | 30 |
| • Test | • 测试（自我测试，修改代码，提交修改） | 60 | 70 |
| Reporting | 报告 | 70 | 90 |
| • Test Repor | • 测试报告 | 45 | 60 |
| • Size Measurement | • 计算工作量 | 10 | 10 |
| • Postmortem & Process Improvement Plan | • 事后总结, 并提出过程改进计划 | 15 | 20 |
| 合计 | 485 | 570 |
3、解题思路描述
仔细阅读完作业题目要求后，发现题目要实现6个功能，具体需求为：
1.读取txt文件中的内容
2.统计文件的字符数
3.统计文件的单词总数
4.统计统计文件的有效行数
5.统计文件中各单词的出现次数，并输出频率最高的10个
6.将输出结果写入txt文件
分析完需求后，问题首先要解决的就是如何进行文件的读写
针对第二个需求统计文件的字符数，我首先想到的就是采用一个字符一个字符的读取文件内容，这样可以更好的对每一个字符进行判断。而后的几个需求，我认为采用行方式读取文件内容，对于功能的实现会简单些。
对于第三个需求，我的想法是将文件每行的内容采用分割法，以非字母、数字的分割符将其分割保存在数组中，在对每个划分后的词进行判断是否为有效单词，但这个分割的方法一开始让我无从下手，后面在CSDN上查找资料发现了正则表达式，这样单词的分割就简单了许多。
第四个需求也是对文件的每行单独判断，想着尝试将字符串中的空字符以空字符串代替，后面查找资料发现了replaceAll（"s*",""）方法。
针对第五个需求，采用同需求三一样的方法先划分单词，然后再将有效单词转换为小写保存在Map中，每次有效单词出现就先判断是否存在，存在则将value+1，否则就存入新的有效单词。词频的统计我是在CSDN上查找了Map<String,Integer>的排序方法，并且修改排序规则从而实现的。
4、代码规范制定链接
myCodeStyle(https://gitee.com/kckr/project-java/blob/master/20188527/src/codestyle.md)
5、设计与实现过程
根据程序功能要求，划分为一个主函数，两个类
WordCount 主函数
FileIO 实现文件的读取，以及将结果写入文件
DoWordCount 实现字符、单词、函数、单词词频的计算
countChars调用getReader，得到其返回的Reader进行以单个字符形式的文件读取
countWords、countLines、sortWords的参数皆为readFile返回的ArrayList
countWords中在判断是否为有效单词时，调用了isValidWord函数，isValidWord函数中判断单词前四位是否为字母时调用了isAlpha函数
printTop10的参数为sortWords函数Map排序后返回的List<Map.Entry<String, Integer>>
7、关键代码
//统计字符数，空格，水平制表符，换行符，均算字符
while ((tempChar = reader.read()) != -1) {
sum++;
}
在单词分割上，我使用了正则表达式（这应该就是我这代码里面唯一的独到之处了） ，使用非字母和数字来分割文件内容的每一行，在对分割后的单词逐一进行判断,调用isValidWord(word)方法判断其长度是否满足要求，isValidWord(word)方法里面又调用了isAlpha（）方法判断前四位是否为字母。
for (int i = 0; i < lines.size(); i++) {
line = lines.get(i);
words = line.split("[^a-zA-Z0-9]+");
for (int j = 0; j < words.length; j++) {
char[] word = words[j].toCharArray();
if (isValidWord(word)) {
sum++;
}
}
}
将文件的每一行中的空白符以空字符串代替，在将其与空字符串比较，若非空，则为有效行。
for (int i = 0; i < lines.size(); i++) {
line = lines.get(i);
line = line.replaceAll("\s*", "");
if (!(line.equals(""))) {
sum++;
}
}
同前面一样，先判断是否为有效单词，若有效，将其转换为小写，然后使用map进行储存，因为map的key不可重复，所以每次写入前判断map之前是否存在过该数据，若没有存在过，则该value值为1，否则，在其value值上再加1.最后将map改为list存储，再用Collections.sort进行排序，通过重写comparator来实现要求的排序，当单词的数量一致时，则比较单词在字典序的先后。
if (isValidWord(word)) {
tempWord = words[j].toLowerCase();
if (!map.containsKey(tempWord)) {
map.put(tempWord, Integer.valueOf(1));
} else {
map.put(tempWord, Integer.valueOf(map.get(tempWord).intValue() + 1));
}
}
List<Map.Entry<String, Integer>> mappingList = new ArrayList<>(map.entrySet());
//通过比较器实现比较排序
Collections.sort(mappingList, new Comparator<Map.Entry<String, Integer>>() {
@Override
public int compare(Map.Entry<String, Integer> o1, Map.Entry<String, Integer> o2) {
if (o1.getValue().equals(o2.getValue())) {
return o1.getKey().compareTo(o2.getKey());
} else {
return o2.getValue().compareTo(o1.getValue());
}
}
});
8、异常处理说明
异常处理命令行参数无输入/输出文件的情况：
if(args.length!=2){
System.out.println("参数输入个数有误，请重新输入");
return ;
}
输出文件不存在时，系统会自动创建输出文件。
剩余的输入流异常，抛出到最外面同一处理。
9、心路历程与收获
在这次的作业中，我学到了很多编写代码以外其他的很多内容，也更加体会到了软件工程这门课的重要性。接触了Git和Gitee，并了解了如何使用gitee发布项目和控制版本，不在只是停留在纸面上的认识，一旦项目有进展便签入Gitee，也使我更加深刻感到它带来的好处。在此次的实践中，我也学会了按照PSP表格对项目进行一步一步的构建完成，不像之前一股脑就开始进入编程阶段，按照这样的方式写出来的程序可靠性也要来的强得多。并且在此次的作业中，也严格规范了自己的代码风格，对我来说有又是一次成长。虽然一开始感觉好多东西都在我的知识盲区中，但是每次作业的完成，对未知知识的探索，都是一次极好的体验。