我们在学习了Linux系统编程之后，需要一些实战项目来提高自己的水平，本系列我们通过编写一个爬虫程序，将我们学习的知识进行综合应用，同时在实现项目的过程中逐渐养成一些有用的思维方式，并具有初步的软件开发思想。
网络爬虫是搜索引擎的一个重要基本功能。由于互联网上的信息非常庞大，我们借助搜索引擎很容易得到自己需要的信息。搜索引擎首先需要一个信息采集系统，即网络爬虫，将互联网上的网页或其它信息收集到本地，然后对这些信息创建索引。当用户输入查询请求的时，先对用户的查询请求进行分析，然后在索引库中进行匹配，最后对结果进行处理，返回结果。
网络爬虫不仅是搜索引擎的重要组成部分，在信息采集、舆情分析、情报收集等一些需要进行数据采集的业务系统中也应用广泛。对数据的采集是对大数据进行分析的重要前提条件。
网络爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。
网络爬虫从一个初始的URL集合出发，将这些URL全部放入到一个有序的待提取URL队列里；然后从这个队列里按顺序取出URL，通过Web上的协议，获取URL所指向的页面，从这些已获取的页面中分析提取出新的URL，并将它们继续放入到待提取URL队列里，一直重复上述过程，获取更多的页面。
通过此项目，我们将学会几种思想：
1、 软件框架思想
2、 代码复用思想
3、 迭代开发思想
4、 增量开发思想
通过此项目，我们将会掌握并巩固以下技术要点：
1、Linux进程及调度
2、Linux服务
3、信号
4、Socket编程
5、Linux多任务
6、文件系统
7、正则表达式
8、shell脚本
9、动态库
另外我们还会学到一些额外的的知识：
1、 如何使用HTTP协议
2、 如何设计一个系统
3、 如何选择和使用开源项目
4、 如何选择I/O模型
5、 如何进行系统分析
6、 如何进行容错处理
7、 如何进行系统测试
8、 如何对源代码进行管理
我们的开发环境和工具：
CentOS6.5或Redhat 6.5
编辑环境：vim
编译工具：GCC