####
大规模抓取的抓取效率和抓取技巧问题
这个话题，只在大规模的时候有用，抓取几十个网页，其实差别不大，不需要这个问题，
###
第一个问题，
输入url，到返回数据发生了什么
这个你面试可以说是一个经典的面试题，
对这个问题越了解，你越能优化大规模的抓取，考验的是你的综合能力，
###
客户端发起请求，
###
dns解析，要连接dns服务器，
可以使用直接ip访问，绕过dns解析，这就节省了时间，
可以使用cmd命令，dig，查看dns解析域名的耗时，
在大量的抓取的时候，可以节省很多时间，
####
cdn服务器，这个是大型网站，需要用这个来分发，根据物理地址来分发不同的请求到不同的服务器，可以减轻压力，
这个不理解，需要再次了解，
指定了cdn服务器，可以请求更多次，
可以通过不同的省份的ip，去ping这个域名，把所有的cdn服务器的节点ip全都拿到，
如果一个cdn可以抓取100次，就要屏蔽你，那你换了cdn服务器之后，假设32个cdn，可以是100*32次，才会屏蔽你，
很多网站会对图片和视频，来做cdn服务，
抓取视频的时候，就应该使用这个cdn的优化，
###
负载均衡
这个也是大型网站才会有这个，小网站没有，
###
抓取技巧，
一个网站可能有web，app，h5，三套，
不同的端，背后可能是不同的ip，
我们可以极限使用ip，
###
sitemap，这个是seo优化的一部分，
天眼查就有这个，里面所有的url都有，
这种尤其是小说，漫画，新闻这样的网站，会把所有的图书，所有的章节都放在这个地方，
可以在robot里面看到，
###
测试站，灰度站，
这个地方往往没有ip限制，就可以安心抓取
有网站可以把一个域名的所有二级域名都拿到，我们就可以发现一些线索，
####
网站接口工具扫描，
可以发现对外没有暴露的api，
这个可以更方便的抓取，
####
url规律抓取，
比如id是自增的
所以拿到一个网站之后应该是先分析，先玩一玩一个网站，
###
账号问题，可能不同的端对账号的限制不一样的，
可能就能绕过账号的问题
另外账号也有网站上卖的，比如天眼查的账号
###
抓需要登陆的数据
1，实打实的登陆
2，手动登陆，拿到cookie，
账号要养的，
而且要测试网站的屏蔽阈值，根据这个，可以算出来爬取成本的，
###
验证码的问题，
少去对刚人家的风控，
什么时候会触发验证码？
比如你抓取天眼查，你的header一直不变，比如header里面的refer一直不变，这就不可能，就会触发验证码
账号异地登陆，也会，
脏ip，这个ip被标注了，
对抗验证码，这个不推荐，我们是要拿数据，不是要硬刚别人，你硬刚，别人就会搞你，
但是你要永久抓取方案呢？有人会去重构requests库，可以抓取每天3000-50000万，拿去卖数据，这种就要硬刚了，
做舆情的，就要做永久性抓取方案，
遇到验证码，可以绕过，可以通过换ip，
###