爬虫项目设计文档

一、引言

　　1.1 目的

　　描述程序设计。

　　1.2 总体设计概述

　　提供网页爬取、内容分类、内容下载、图形分析等设计。

二、整体架构

　　2.1 应用技术

　　2.1.1 JAVA多线程

　　JAVA使用java.lang.Thread类或者java.lang.Runnable接口编写代码来定义、实例化和启动新线程。Java中，每个线程都有一个调用栈，即使不在程序中创建任何新的线程，线程也在后台运行着。一个Java应用总是从main()方法开始运行，mian()方法运行在一个线程内，它被称为主线程。一旦创建一个新的线程，就产生一个新的调用栈。线程的应用大大提高了JAVA程序的效率。

　　2.1.2 URL去重 -- 基于hash算法的存储

　　对每一个给定的URL，都是用一个已经建立好的Hash函数，映射到某个物理地址上。当需要进行检测URL是否重复的时候，只需要将这个URL进行Hash映射，如果得到的地址已经存在，说明已经被下载过，放弃下载，否则，将该URL及其Hash地址作为键值对存放到Hash表中。这样，URL去重存储库就是要维护一个Hash表，如果Hash函数设计的不好，在进行映射的时候，发生碰撞的几率很大，则再进行碰撞的处理也非常复杂。而且，这里使用的是URL作为键，URL字符串也占用了很大的存储空间。

　　2.1.3 爬虫策略 -- 广度优先搜索

　　广度优先策略是指在抓取过程中，在完成当前层次的搜索后，才进行下一层次的搜索。该算法的设计和实现相对简单。在目前为覆盖尽可能多的网页，一般使用广度优先搜索方法。也有很多研究将广度优先搜索策略应用于聚焦爬虫中。其基本思想是认为与初始URL在一定链接距离内的网页具有主题相关性的概率很大。另外一种方法是将广度优先搜索与网页过滤技术结合使用，先用广度优先搜索策略抓取网页，再将其中无关的网页过滤掉。这些方法的缺点在于，随着抓取网页的增多，大量的无关网页将被下载并过滤，算法的效率将变低。

　　2.1.4 UI设计 -- Jframe

　　JFrame是java的GUI程序的基础，它是屏幕上window的对象，能够最大化、最小化、关闭。Swing 的三个基本构造块：标签、按钮和文本字段；但是需要个地方安放它们，并希望用户知道如何处理它们。JFrame 类就是解决这个问题的——它是一个容器，允许程序员把其他组件添加到它里面，把它们组织起来，并把它们呈现给用户。 JFrame 实际上不仅仅让程序员把组件放入其中并呈现给用户。比起它表面上的简单性，它实际上是 Swing 包中最复杂的组件。为了最大程度地简化组件，在独立于操作系统的 Swing 组件与实际运行这些组件的操作系统之间，JFrame 起着桥梁的作用。JFrame 在本机操作系统中是以窗口的形式注册的，这么做之后，就可以得到许多熟悉的操作系统窗口的特性：最小化/最大化、改变大小、移动。

　　2.2整体框架视图

　　2.2.1物理设计框架

　　　　　　

　　

　　2.2.2程序设计框架

　　2.3 工作过程设计

　　根据我们的两个视图，可以进一步设计出爬虫的如下工作方式：

　　①将给定的初始URL加入到URL等待队列。

　　②创建爬虫线程，启动爬虫线程

　　③每个爬虫线程从URL等待队列中取得任务URL。然后根据URL下载网页，然后解析网页，获取超链接URs。如果获取到的URL为相对地址，需要转换为绝对地址，然后淘汰外URLs，错误URLs或者不能解析的URL地址。再判断这些URL是否已经被下载到，如果没有则加入到URL等待队列。　　　　

　　④继续执行步骤③，直到结束条件停止。

　　如下是我们的工作流程图：

　　

　　2.4 代码框架规范

　　crawler项目整体上分为url操作、服务器连接和数据库操作、内容下载、图形展示、UI设计五个部分。

　　（1）URL操作

　　URL存取:

　　　　public class LinkQueue:

　　　　　　//已访问的 url 集合
　　　　　　private static Set<RankUrl> visitedUrl = new HashSet<RankUrl>();
　　　　　　//已访问的 url 集合(.html)
　　　　　　private static Set<RankUrl> visitedHUrl = new HashSet<RankUrl>();
　　　　　　//待访问的 url 集合
　　　　　　private static ConcurrentLinkedQueue<RankUrl> unVisitedUrl = new ConcurrentLinkedQueue<RankUrl>();
　　　　　　//seed url集合
　　　　　　private static Queue<RankUrl> seedUrls = new LinkedList<RankUrl>();
　　　　　　//tag 集合
　　　　　　　　private static Hashtable<String, String> tagtext= new Hashtable<String, String>();
　　　　　　//Url得分表
　　　　　　private static Hashtable<RankUrl, Double> urlsScoreTable = new Hashtable<RankUrl, Double>();
　　　　　　//前十链接
　　　　　　private static ArrayList<String> topUrlsSort = new ArrayList<String>();

　　　　　　//获得tag表

　　　　　　public static Hashtable<String, String> getTagtext();

　　　　　　//添加到访问过的URL队列中

　　　　　　public static void addVisitedUrl(RankUrl url);

　　　　　　//添加种子链接

　　　　　　public static void addSeedUrl(RankUrl url);

　　　　　　//未访问的URL出队列

　　　　　　public static Object unVisitedUrlDeQueue();

　　　　　　//保证每个 url 只被访问一次

　　　　　　public static void addUnvisitedUrl(RankUrl url, RankUrl inUrl);

　　　　　　//获得已经访问的URL数目

　　　　　　public static int getVisitedUrlNum();

　　　　　　//判断未访问的URL队列中是否为空

　　　　　　public static boolean unVisitedUrlsEmpty();

　　　　　　//使用PageRank算法计算Url的重要性排序

　　　　　　public static void getUrlsScores();

　　　　　　//获得排序top10以内的Url和分数

　　　　　　public static Hashtable<String, Double> getTopRankUrls();　　　　

　　URL评分：

　　　　public class RankUrl :

　　　　　　//获取网址URL

　　　　　　public String getUrl();

　　　　　　//得到网址排名集合

　　　　　　public Set<RankUrl> getOutUrls();

　　　　　　//添加网址排名

　　　　　　public void addOutUrl(RankUrl url);

　　　　　　//得到网址排名集合的大小

　　　　　　public int getOutUrlsSize();

　　　　　　//返回网址数量

　　　　　　public int getOutUrlsSize();

　　　　　　//输出已访问url

　　　　　　public void print();

　　子链接操作：

　　　　public class HtmlParserTool:

　　　　　　//过滤并获取网站子链接

　　　　　　public static Set<String> extracLinks(String url, LinkFilter filter);

　　　　　　//过滤并获取网站子链接

　　　　　　public static Set<String> extracLinks_gb(String url, LinkFilter filter);

　　关键词过滤：

　　　　public class Keyword：

　　　　　　//根据提供的URL，获取此URL对应网页的纯文本信息 

　　　　　　public static String getText(String url);

　　　　　　//给出指定URL是否符合过滤条件

　　　　　　public static boolean accept(String url);

　　主函数入口:

　　　　public class MyCrawler:

　　　　//使用种子初始化 URL队列

　　　　private void initCrawlerWithSeeds(String[] seeds);

　　　　　　//开始抓取pdf过程

　　　　　　public void pdfCrawling(String[] seeds);

　　　　　　//开始抓取ppt过程

　　　　　　public void pptCrawling(String[] seeds);

　　　　　　//开始抓取doc过程

　　　　　　public void docCrawling(String[] seeds);

　　　　　　//开始抓取stackoverflow页面过程

　　　　　　public void STCrawling(String[] STseeds);

　　　　　　//开始抓取q.cnblogs页面过程

　　　　　　public void CNCrawling(String[] CNseeds);

　　　　　　//开始抓取dwen页面过程

　　　　　　public void DWCrawling(String[] DWseeds);

　　　　　　//开始抓取zhidao.baidu页面过程

　　　　　　public void BZCrawling();　

　　（2）服务器连接和数据库操作

　　　　public class ConnectServer:

　　　　　　//初始化数据库连接

　　　　　　public static void dbConn();

　　　　　　//断开数据库连接

　　　　　　public static void dbClose();

　　　　　　//执行sql查询

　　　　　　public static ResultSet dataset(String sql);

　　　　　　//得到全部网页个数

　　　　　　public static String getSum_webpage();

　　　　　　//得到全部问答页个数

　　　　　　public static String getSum_quiz();

　　　　　　//得到全部doc个数

　　　　　　public static String getSum_doc();

　　　　　　//得到全部ppt个数

　　　　　　public static String getSum_ppt();

　　　　　　//得到全部pdf个数

　　　　 　　public static String getSum_pdf();

　　　　　　//互斥更新数据库

　　　　　　public static synchronized int update(String sql) throws SQLException;

　　　　　　//获取数据库最大ID号

　　　　　　public static int idNumber();

　　（3）内容下载

　　　　public class DownloadFile:

　　　　　　//构造函数

　　　　　　public DownloadFile(RankUrl url,LinkFilter filter);

　　　　　　//开始下载

　　　　　　public void run();

　　　　　　//通过ID获得文件名

　　　　　　public String getFileNameByID(int _id,String contentType);

　　　　　　//通过网址得到文件名

　　　　　　public  String getFileNameByUrl(String url,String contentType)

　　　　　　//更新数据库

　　　　　　public void DataBase(String IntoDataBase,String FilePath) throws SQLException;

　　　　　　//保存网页字节数组到本地

　　　　　　private void saveToLocal(byte[] data, String filePath);

　　　　public class DownloadQuiz extends Thread:

　　　　　　//构造函数

　　　　　　public DownloadQuiz (RankUrl url,int kind);

　　　　　　//开始下载问答页

　　　　　　public void run();

　　　　　　//更新数据库

　　　　　　public void DataBase(String IntoDataBase,String FilePath) throws SQLException;

　　　　　　//通过ID获得文件名

　　　　　　public String getFileNameByID(int _id,String contentType);

　　　　　　//通过网址得到文件名

　　　　　　public  String getFileNameByUrl(String url,String contentType);

　　　　　　//保存网页字节数组到本地

　　　　　　private void saveToLocal(byte[] data, String filePath);

　　（4）图形展示

　　　　饼状图：

　　　　public class Analysis extends JFrame:

　　　　　　//构造函数,设计饼状图

　　　　　　Analysis();　

　　　　public class PieChart:

　　　　　　//构造函数,设计饼状图

　　　　　　public PieChart();

　　　　　　//得到pdf，quiz，webpage的数据集

　　　　　　private static DefaultPieDataset getDataSet();

　　　　　　//获取饼状图

　　　　　　public ChartPanel getChartPanel();

　　　　柱状图：

　　　　public class BarChart:

　　　　　　//构造函数,设计柱状图

　　　　　　BarChart();

　　（5）UI设计

　　　　主界面:

　　　　public class CraUi extends JFrame implements ActionListener, Runnable, ItemListener:　　

　　　　　　//构造函数,设计UI布局

　　　　　　public CraUi();

　　　　　　//根据给定的数据创建图表

　　　　　　public JFreeChart createChart(CategoryDataset dataset);

　　　　　　//创建供图表显示的面板

　　　　　　public JPanel createPanel();

　　　　　　//刷新面板

　　　　　　public static void updatePanel(int visited,int succeed,int failed,int passed);

　　　　　　//配置事件监听器动作

　　　　　　public void actionPerformed(ActionEvent e);

　　　　　　//在指定位置插入已访问URL

　　　　　　public void UIinsertURLs(String newURL);

　　　　　　//UI开始运行

　　　　　　public void run();

　　　　　　//配置下拉框状态改变响应触发

　　　　　　public void itemStateChanged(ItemEvent e);

　　　　　　//得到关键字

　　　　　　public String getTxt();

　　　　　　//设置关键字

　　　　　　public void setTxt(String txt);

　　　　团队LOGO：
　　　　public class Logo extends JWindow implements Runnable:

　　　　　　//构造函数,设置Logo参数

　　　　　　public Logo(String name);

　　　　　　//显示Logo

　　　　　　public void run();

　　　　　　//使Logo消失

　　　　　　public void setNotVisible();

三、软件支持

类型	软件
服务器	由老师提供
数据库	sql server2008
开发平台	Eclipce

　

 四、其他设计

　　4.1 异常处理

　　由于数据的保存涉及到了数据库，所以异常处理主要涉及的是SQLException，在需要操作到数据库的方法里，都抛出了SQLException，捕获然后给相应提示信息。还有其他基本异常处理不一一罗列。

　　4.2 用户性能设计

　　通过三个设计提高软件的性能：

　　（1）hash存储

　　（2）java多线程

　　（3）pagerank算法

　　高效率运行的软件有利于提高用户的体验指数。