1、crawlzilla
crawlzilla 是一个帮你轻松建立搜索引擎的自由软件，有了它，你就不用依靠商业公司的搜索引擎，也不用再烦恼公司內部网站资料索引的问题。
由 nutch 专案为核心，并整合更多相关套件，并卡发设计安装与管理UI，让使用者更方便上手。
crawlzilla 除了爬取基本的 html 外，还能分析网页上的文件，如（ doc、pdf、ppt、ooo、rss ）等多种文件格式，让你的搜索引擎不只是网页搜索引擎，而是网站的完整资料索引库。
拥有中文分词能力，让你的搜索更精准。
crawlzilla的特色与目标，最主要就是提供使用者一个方便好用易安裝的搜索平台。
- 授权协议： Apache License 2
- 开发语言： Java JavaScript SHELL
- 操作系统： Linux
- 项目主页： https://github.com/shunfa/crawlzilla
- 下载地址： http://sourceforge.net/projects/crawlzilla/
- 特点：安装简易，拥有中文分词功能
2、Heritrix
Heritrix 是一个由 java 开发的、开源的网络爬虫，用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑。
Heritrix采用的是模块化的设计，各个模块由一个控制器类（CrawlController类）来协调，控制器是整体的核心。
- 代码托管：https://github.com/internetarchive/heritrix3
- 授权协议： Apache
- 开发语言： Java
- 操作系统： 跨平台
- 特点：严格遵照robots文件的排除指示和META robots标签
3、webmagic
webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。
webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。
webmagic包含强大的页面抽取功能，开发者可以便捷的使用css selector、xpath和正则表达式进行链接和内容的提取，支持多个选择器链式调用。
webmagic的使用文档：http://webmagic.io/docs/
查看源代码：http://git.oschina.net/flashsword20/webmagic
- 授权协议： Apache
- 开发语言： Java
- 操作系统： 跨平台
- 特点：功能覆盖整个爬虫生命周期，使用Xpath和正则表达式进行链接和内容的提取。
- 备注：这是一款国产开源软件，由 黄亿华贡献
4、ThinkUp
ThinkUp 是一个可以采集推特，facebook等社交网络数据的社会媒体视角引擎。通过采集个人的社交网络账号中的数据，对其存档以及处理的交互分析工具，并将数据图形化以便更直观的查看。
- 授权协议： GPL
- 开发语言： PHP
- 操作系统： 跨平台
- github源码：https://github.com/ThinkUpLLC/ThinkUp
火车头: 功能全，历史悠久，但配置太过复杂，且功能众多很难掌握，但确实功能很全面，是通用采集软件，简单的页面什么都可以采集。
网络矿工: 推出时间不长，略微不够稳定，但其提供的数据采集和数据加工何为一体的功能很不错。
有讯软件：实际上它并不是提供软件，而是提供采集服务。你只要告诉他们要采集哪里的数据，和要采集的具体内容，其它什么都不需要懂，也不需要做，他们就会把采集到的数据提供给你们，而且还可以满足你的任何数据处理要求。
网络神采：同样也是一款历史悠久的软件，采集方面也很强大，其他方面没有太深的影响。
狂人、三人行，未用过，但据说采集论坛和博客是很强悍的，采集其他类型的数据和稍微复杂点的数据就不行了。
gooseeker：好像是提供在线采集的，没用过，它们的网站看不懂。但据说也还不错。
个人觉得：如果你是采集纯静态页面，且数据结构不是很复杂的那种，也懂点技术的，那就用火车头吧。
原文：http://blog.sina.com.cn/s/blog_15b9403ba0102wosv.html