1.通用爬虫：搜索引擎用的爬虫系统。搜索引擎和供应商提供的爬虫。
通用爬虫要遵循规则：Robots协议
通用爬虫工作流程：
爬取网页》存储数据》内容处理》提供检索
通用爬虫缺点：
只能提供和文本相关的内容如html、world、pdf等，不能提供多媒体文件如音乐、图片、视频和二进制文件（脚本、程序）
提供的结果千篇一律，针对不同领域提供不同内容
不能提供人类语义上的检索
通用爬虫局限性：
1.通用搜索引擎返回网页的数据内容，大概90%都无用。
2.中文搜索引擎自然语言检索理解困难。
3.信息占有量和覆盖率存在局限。
4.搜索引擎主要是以关键字搜索为主，对于图片、数据库、视频、音频等多媒体的内容用通用搜索引擎无效。
5.搜索引擎的社区化和个性化不好，未考虑实际因素如人的地域、性别、年龄等差别。
6.搜索引擎爬取动态网页效果不好
2.聚焦爬虫：针对于某一需求编写的爬虫程序。
聚焦爬虫可分为三类：
1.积累式爬虫：从开始到结束，不断爬取，过程会进行重复操作。
2.增量爬虫：已下载网页采取增量式跟新，爬取更新变化的数据。
3.深度爬虫：指那些不能通过静态链接获取的、隐藏在搜索表单后的，只有用户提交一些关键词才能获取的web界面。