结对第二次—文献摘要热词统计及进阶需求

---

前言

• 课程名称：软件工程实践
• 作业要求：结对第二次—文献摘要热词统计及进阶需求
• 结对学号：221600424 221600427
• 本次作业目标：学会github的基本使用，训练需求分析和团队协作能力。
• Github基础需求项目地址：221600424 221600427
• Github进阶需求项目地址：221600424 221600427
• 具体分工：需求分析一起讨论分析，221600424负责WordCount编写，221600427负责爬虫的编写，博客一起完成。

---

一、时间预估

PSP

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	2610	2655
? Estimate	? 估计这个任务需要多少时间	2610	2655
Development	开发	800	850
? Analysis	? 需求分析 (包括学习新技术)	300	350
? Design Spec	? 生成设计文档	60	40
? Design Review	? 设计复审	30	40
? Coding Standard	? 代码规范 (为目前的开发制定合适的规范)	30	30
? Design	? 具体设计	180	200
? Coding	? 具体编码	850	820
? Code Review	? 代码复审	150	120
? Test	? 测试（自我测试，修改代码，提交修改）	80	60
Reporting	报告	50	40
? Test Repor	? 测试报告	30	30
? Size Measurement	? 计算工作量	20	30
? Postmortem & Process Improvement Plan	? 事后总结, 并提出过程改进计划	30	45
	合计	2610	2655

---

二、初始解题思路

刚看到基本题目时，首先想到的是用python写，毕竟写爬虫什么的，第一选择往往是python。但后来看到题目要求语言使用c++或java，于是了对比c++与java。由于本次的作业是要写文词统计+爬虫两个简单的程序，考虑到文词统计可能需要对字符串进行大量的处理，又因为java已经有封装好的Pattern、Matcher的字符串正则匹配和处理的函数，而且之前上网查到过使用jsoup（Java 的HTML解析器）写爬虫也很方便，于是两人直接敲定统一使用java编写。对文词统计基本设计思路是写两个类，一个专门用来测试，另一个包含了基本的统计字符、行数、单词等方法。爬虫因为之前未曾写过，因此基本上是边看教程边写。

三、设计实现过程（java实现)

（一）WordCount基本

代码如何组织

一共两个类：Main类(测试类)、WordCount类(集合了所有统计函数的类)，
类图：

因为WordCount类只负责对外界的输入做统计功能，因此我把每个函数写成静态方法，外界可直接通过类名调用。countChar、countWord、countLine函数分别统计字符数、单词数、有效行数；isChar、isWord、isLine函数分别判断是否为有效字符、单词、有效行数；toWordMap函数用来将从txt文件读取到的文本转化为单词—>词频（key—>value）的一个hashmap结构；outPutTop10函数将这个hashmap结构转化为动态数组结构，进行排序，输出top10关键词;outCount函数做综合输出，即调用此函数一次将字符数、单词数、有效行数、top10单词输出到result.txt文件中。

单元测试

关键代码，流程图

最关键的算法在于如何正确匹配各种需要处理的字符串，还有转化hashmap结构和对hashmap中的单词进行排序等。总体没有什么特别复杂的函数，这里展示将输入的文本转为hashmap结构存储的流程图：

关键代码：

public static int countChar(File file) throws IOException {//计算字符数
		int charnum=0;
		BufferedReader reader=new BufferedReader(new FileReader(file));
		int c;
		while((c=reader.read())!=-1) {
			if (isChar(c)) {
				charnum++;
			}	
		}
		reader.close();
		return charnum;
	}
public static int countLine(File file) throws IOException {//计算行数
		int linenum=0;
		BufferedReader reader=new BufferedReader(new FileReader(file));
		String s=null;
		while((s=reader.readLine())!=null) {
			if (isLine(s)) {
				linenum++;	
			}
		}
		reader.close();
		return linenum;
	}
public static int countWord(File file) throws IOException{//计算单词数
		int wordnum=0;
		BufferedReader reader=new BufferedReader(new FileReader(file));
		String s=null;
		while((s=reader.readLine())!=null) {
			String[] strings=toWordList(s);//分隔
			for(int i=0;i<strings.length;i++) {
				if (isWord(strings[i])) {
					wordnum++;
				}
			}
		}
		return wordnum;
	}
public static String[] outPutTop10(File file) throws IOException {//输出top10单词
		HashMap<String, Integer> wordMap=toWordMap(file);
		
        ArrayList<Map.Entry<String,Integer>> list = new ArrayList<Map.Entry<String,Integer>>(wordMap.entrySet());
        Collections.sort(list,new Comparator<Map.Entry<String,Integer>>() {
            //升序排序
			@Override
			public int compare(Entry<String, Integer> o1, Entry<String, Integer> o2) {
				// TODO Auto-generated method stub
				if (o1.getValue().compareTo(o2.getValue())==0) {//如果词频相同				
					return -1;
				}
				 return o2.getValue().compareTo(o1.getValue());
			}
        });
        int num=0;
        String[] top10=new String[10];//保存TOP10
        for(Map.Entry<String,Integer> mapping:list){ 
        	if (num==10) {
				break;
			}
        	top10[num]="<"+mapping.getKey()+">"+":"+mapping.getValue();
        	num++;
        } 
        return top10;
    }

toWordMap():

public static HashMap<String, Integer> toWordMap(File file) throws IOException {//把txt文件内容构建为一个HashMap结构
		HashMap<String, Integer> hashMap=new HashMap<>();
		BufferedReader reader=new BufferedReader(new FileReader(file));
		String s=null;
		int index;
		while((s=reader.readLine())!=null) {
			index=0;
			String[] strings=toWordList(s);//分隔为准单词数组
			while(index<strings.length) {
				if (isWord(strings[index])) {
					String lowerstring=strings[index].toLowerCase();//单词转为小写
					if (hashMap.containsKey(lowerstring)) {//判断是否重复
						hashMap.put(lowerstring, hashMap.get(lowerstring)+1);//如果重复词频加1
					}
					else {
						hashMap.put(lowerstring, 1);//如果单词不重复初值为1
					}
				}
				index++;
			}
		}
		reader.close();
		return hashMap;
	}

（二）WordCount进阶

代码如何组织

仍然是两个类：Main类(测试类)、WordCount类(集合了所有统计函数的类)
类图：

由于需求的变更，现在需要为这些统计函数增加一些参数，以及对函数的一些修改。主要修改为：由于新增了命令行可输入参数，因此用switch对参数输入进行判断，赋值给相应变量；增加了一个inputProcess函数，消除编号行以及Abstract: ,Title: 这两个字符串，以便与之后的统计；把toWordMap函数改写为toPhraseMap函数——在基本需求中只考虑往hashmap存入单个单词的情况，现在增加了词组词频统计功能，于是把之前的单词也看作词组，写成一个存储词组的hashmap函数；剩下的就是一些正则表达式的修改，这个8谈。

单元测试

关键代码，流程图

进阶需求中最复杂的代码实现就是对词组词频的统计，流程图：

关键代码,统计函数与基本需求相差不大，这里只展示toPhraseMap函数：

public static HashMap<String, Integer> toPhraseMap(File file,int w,int m) throws IOException {//把txt文件内容构建为一个HashMap结构
		HashMap<String, Integer> hashMap=new HashMap<>();
		BufferedReader reader=new BufferedReader(new FileReader(file));
		String s=null;
		int weight=1;
		while((s=reader.readLine())!=null) {
			if (Pattern.matches("[0-9]+", s)) {//跳过编号行
				continue;
			}
			weight=1;
			if (Pattern.matches(".*Title: .*",s)&&w==1) {//遇到title行并且w=1,权值设为10
				weight=10;
			}		
			String ns=inputProcess(s);
			
			String[] strings=toWordList(ns);//分隔出准单词数组
			String[] strings2=toBreakList(ns);//分隔出分隔符数组
			String phrase="";
			String lowerstring=null;
			boolean find=true;//find为true代表找到符合规则的词组
			for(int i=0;i<strings.length-m+1;i++) {
				find=true;
				phrase="";
				for(int j=i;j<i+m;j++) {//循环m次
					if (isWord(strings[j])) {
						lowerstring=strings[j].toLowerCase();//转小写
						phrase=phrase+lowerstring;//拼接为词组
						if (m!=1&&j!=i+m-1) {
							if (strings[0].equals("")) {
								phrase=phrase+strings2[j];//拼接为词组
							}
							else if (strings2[0].equals("")) {
								phrase=phrase+strings2[j+1];//拼接为词组
							}
						}
					}
					else {
						find=false;
						break;
					}
				}
				if (find) {//如果找到一个词组
					if (hashMap.containsKey(phrase)) {//如果重复词组则对应词频加weight
						hashMap.put(phrase, hashMap.get(phrase)+weight);
					}
					else {
						hashMap.put(phrase, weight);//否则初始化为weight
					}
				}
			}
		}
		reader.close();
		return hashMap;
	}

（三）爬虫（Java）

Java实现方式

• Java中可以对html文本进行抓取和处理的第三方库有许多，但从本次项目来看，只需要抓取一部分数据，并没有过多复杂的操作，因此选择简单并且易上手的Jsoup。
• 使用第三方库Jsoup可以对目标网站（CVPR）的HTML内容进行，抓取，并使用jsoup.nodes.Document对内容的DOM树进行处理，便可以获取相应内容。
  查看网页HTML：
  
• 对获取的Document使用select定位到想要获取数据的节点，获取数据同时储存在一个ArrayList中。
  获取的关键数据：
  
• 待爬取结束后按照要求将数据格式化保存在文件中。
  保存：
  

• 流程图
  

关键代码

1.多线程
//创建100个线程同时工作，并让当前线程等待这些线程
		ArrayList<Thread> threads = new ArrayList<Thread>();
		for (int i = 0; i < threadnum; i++) {
				Thread newThread = new Thread(new absThread(i, dealnum, paperdt.size(), paperdt, pList));
				newThread.start();
				threads.add(newThread);
		}
		for (int i = 0; i < threads.size(); i++) {
				threads.get(i).join();
		}
2.加锁保护数据
		lock.lock();
		pList.add(title, abs);
		lock.unlock();

---

四、改进

改进方案

• 刚开始编写代码时由于没有好好考虑封装，因此改需求效率很低。改进方法是尽量让一个函数仅实现一个比较小而具体的功能，冗余的代码都写成一个函数供需要的函数调用。
• 词组一开始以为词组仅包含单词，不需要考虑相隔的分隔符。后来知道需要词组需要加入分隔符后，考虑将准单词和分隔符分为两个数组，单词拼接为词组时将分隔符也加入拼接成的字符串，最后结果是成功的。
• 通过使用第三方库可以很容易的获取页面的HTML内容，因此只需要对爬取到的内容进行逻辑处理即可，此处没有太多难题，但是因为爬取的论文有一定数量，而且此工程中所需的摘要内容还需要进入新页面进行抓取，导致1000条的内容就需要1000次的页面访问，因此爬取的效率极为低下（经测试大致需要4-5min），这显然是不行的。改进：第一反应就是使用多线程技术进行优化（毕竟用的第三方库的API进行内容抓取，此处我也不知道怎么进行优化）
  爬虫改进：
• 思路：暂且先将线程数定为100，使用这100个线程同时对DOM进行处理，根据总共的论文篇数为每个线程制定工作任务（例如这里有979篇论文，那么每个线程大概就爬取10篇论文的内容）。这样 100个线程同时工作，就能极大提高爬虫的效率，减少爬取总时间。同时因为100个线程同时进行数据爬取和储存，因此如果不进行任何处理，极有可能会出现数据丢失（实际过程中也确实出现了数据丢失的情况），因此需要在保存数据时进行同步或者加锁（我选择加锁），从而保证存储过程中的稳定性。
• 结果：成功将爬取时长从4-5min优化至20-30s。
• 利：极大地提高了爬虫的效率。
• 弊：爬取并保存下来的论文列表顺序和网站上的不一致（个人认为这没什么所谓就懒得处理了）。
• 性能分析图（工具使用JProfiler）
  优化前：
  
  优化后：
  

---

五、总结

通过本次实践，我们意识到团队间的交流是十分重要的，因为一项工程是需要共同协作的，而每个人对工程需求的理解还有个人的目标都是不一样的，这些都会在工作的进行中暴露出来，而这些差异有可能就会成为团队中的矛盾，如果不能合理地解决这些矛盾，不仅无法共同合作，甚至会引起更大的冲突（适当的争论是可以的），最糟糕的情况下整个项目停止也不是不可能，因此我们认为有效的队内交流是十分重要的。

困难及体会

• 在编写WordCount时，对需求不明确，因此不断地修改代码。但在这过程中我也体会到函数封装的重要性，如果代码有许多冗余，需求一变更就要做大量修改。
• 刚使用github，有些不太习惯，相信以后体会到它的好处后会克服。
• 在对爬虫进行优化时，由于先前没有考虑到效率会如此差，因此在准备使用多线程优化时，需要大幅度修改代码，给自己添加了许多不必要的工作，如果能在之前考虑到效率的问题，就能在编写代码时提高重用性，以便在之后的处理中更简便。

对队友的评价

221600424

队友对待作业十分认真，而且善于精益求精，在代码运行效率不够满意时查找方法，进行优化。

221600427

队友编程能力很强，而且乐于爆肝，每每出现BUG都不厌其烦的调试、查错。