爬虫的实际例子
- 搜索引擎(百度,谷歌,360搜索等)。
- 伯乐在线。(网站里的内容都是从别的爬取,相当于搬运工)
- 惠惠购物助手。
- 数据分析和研究(数据冰山知乎专栏)。
- 抢票软件。
什么是爬虫
1. 通俗理解,爬虫是模拟人请求网站的程序。可以自动请求网页,并将数据抓取下来,然后使用一定的规则提取有价值的数据。
2. 专业介绍:百度百科
通用爬虫和聚焦爬虫
1. 通用网络爬虫是捜索引擎抓取系统(Baidu、Google、Yahoo等)的重要组成部分。主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。
2. 聚焦爬虫,是"面向特定主题需求"的一种网络爬虫程序,它与通用搜索引擎爬虫的区别在于: 聚焦爬虫在实施网页抓取时会对内容进行处理筛选,尽量保证只抓取与需求相关的网页信息。