爬虫

 

什么是爬虫

网络爬虫，也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。

网络搜索引擎等站点通过爬虫软件更新自身的网站内容或其对其他网站的索引。网络爬虫可以将自己所访问的页面保存下来，以便搜索引擎事后生成索引供用户搜索。

爬虫访问网站的过程会消耗目标系统资源。不少网络系统并不默许爬虫工作。因此在访问大量页面时，爬虫需要考虑到规划、负载，还需要讲“礼貌”。 不愿意被爬虫访问、被爬虫主人知晓的公开站点可以使用robots.txt文件之类的方法避免访问。这个文件可以要求机器人只对网站的一部分进行索引，或完全不作处理。

互联网上的页面极多，即使是最大的爬虫系统也无法做出完整的索引。因此在公元2000年之前的万维网出现初期，搜索引擎经常找不到多少相关结果。现在的搜索引擎在这方面已经进步很多，能够即刻给出高质量结果。

爬虫还可以验证超链接和HTML代码，用于网络抓取。

利用爬虫可以做哪些有趣的事

1.爬取古诗文 http://so.gushiwen.org/mingju/ju_4652.aspx

1. 《小松》 唐代 杜荀鹤  
2. 自小刺头深草里，而今渐觉出蓬蒿。  
3. 时人不识凌云木，直待凌云始道高。  

2.爬取电商数据： 如意淘、惠惠购物助手、西贴、购物党https://gwdang.com/trend

 

3. 爬取社会化媒体 http://ys.8wss.com/

 

4.爬取金融数据，量化分析

5.爬取新闻数据，舆情、 文章聚合等

常见的爬虫框架

1.Java语言开发的分布式爬虫：Nutch

分布式爬虫，主要是解决两个方面的问题：①海量URL管理 ②网速。

Nutch一般应用于搜索引擎

Nutch依赖于Hadoop运行

2.JAVA语言开发的单机爬虫：Crawler4j、WebMagic、WebCollector

3.Python语言开发的单机爬虫：scrapy、PySpider