一、爬虫趋势
随着大数据时代的来临，网络爬虫在互联网中的地位越来越重要
互联网中的数据是海量的，网络爬虫可以为我们自动高效的获取网络中对我们有用的信息
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者）
就是一种按照一定的规则，自动得爬取网络信息
这些规则我们称之为网络爬虫算法
使用Python可以很方便地编写出爬虫程序，进行互联网信息的自动化检索。
搜索引擎离不开爬虫，比如百度搜索引擎的爬虫叫作百度蜘蛛（Baiduspider）。
百度蜘蛛每天会在海量的互联网信息中进行爬取，爬取优质信息并收录，当用户在百度搜索引擎上检索对应关键词时，百度将对关键词进行分析处理，从爬取到的数据中找出相关信息，按照相应的排名规则进行排序并将结果展现给用户。
那么在这个过程中，百度蜘蛛起到了至关重要的作用。
那么，如何覆盖互联网中更多的优质网页？
又如何筛选这些重复的页面？
这些都是由百度蜘蛛爬虫的算法决定的。
采用不同的算法，爬虫的运行效率会不同，爬取结果也会有所差异。
除了百度搜索引擎离不开爬虫以外，其他搜索引擎也离不开爬虫，它们也拥有自己的爬虫。
比如360的爬虫叫360Spider，搜狗的爬虫叫Sogouspider。
大数据时代已离不开爬虫
从搜索巨头到人工智能巨头，这是一条波澜壮阔的路
而我们应该看到，事情的源头，却是我们今日所书写的“爬虫”。
所以在未来，爬虫的地位会越来越重要
二、爬虫能干什么
爬虫能做很多事，能做商业分析，也能做生活助手
比如：
1.想买房，可以分析上海近两年二手房成交均价是多少，优惠以及交易记录
2.女朋友的领导下发任务，要求收集100条招聘信息，第二天检查，她熬夜百度复制粘贴到半夜，心疼死了。。。
3.突然发现某奇艺的会员视频要过期了，赶紧爬下来
4.想看一下最近的热门电影，听一下最近的热门歌曲等
5.喜欢看美女，妹纸图一张一张翻太累了
6.七夕到了，送女朋友什么能让她开心
7.约了女朋友吃饭，上海哪家餐厅的菜最好吃？
8.最近离职了，上海的Python工程师平均薪资是多少？等等。
这是个人利用爬虫所做到的事情
而公司，同样可以利用爬虫来实现巨大的商业价值
比如我们刚才所说的搜索引擎——百度和谷歌，它们的核心技术之一也是爬虫，而且是超级爬虫。
爬虫还让这些搜索巨头有机会朝着人工智能的未来迈进，因为人工智能的发展离不开海量的数据。而每天使用这些搜索网站的用户都是数以亿计的，产生的数据自然也是难以计量的。