爬虫技术基础
- HTTP/HTTPS（7层）：应用层，浏览器
- SSL：加密层，传输层、应用层之间
- TCP/IP（4层）：传输层
- 数据在传输过程中是加密的，浏览器显示的是解密后的数据，对爬虫没有影响
- 中间人攻击：在传输过程中对数据包进行解析，抓包抓的是IP包，数据是加密的
- 网页类型
- 静态网页：HTML，或PHP+JSP后台写HTML
- 动态网页（前后分离）：前端HTML+JavaScript，后端提供数据接口，js请求数据
- APP内嵌HTML（WebView引擎）
- 云端下发完整HTML（今日头条）
- 本地HTML模板+远程数据（微信）
- 移动端APP（抖音）
- 反编译APP
- 爬虫应用
- 搜索引擎：google
- 推荐系统：今日头条
- 社交软件冷启动：探探（爬取新浪微博的数据构造假用户）
- 自然语言处理的训练集：先从维基爬取信息作为标注的输出结果集，再用google查询结果集作为训练集构建模型
- 图像训练：训练过滤器（照片、油画、素描），提高搜索准确性
- 关系分析：天眼查，记录全国所有公司股东信息、关联关系
- 价格追踪：pricegrabber，比价网站
HTTP
- 应用层协议
- 无连接：每次连接只处理一个请求（手机给电脑传数据，传完就拔线；有连接，socket通信，三次握手）
- 无状态：每次连接、传输都是独立的
- HEADER（头信息）、body（数据）
- Request（Client->Server）、Response（Server->Client）
- Request 的 HTTP Header
-
Charset：编码，Python默认utf-8
-
Encoding：源代码压缩方式，不写不压缩
-
keep-alive：不关闭socket连接
-
User-Agent：客户端类型（手机、电脑打开淘宝网址，会自适应屏幕），爬虫代码中需要伪装成浏览器，通过服务器检查
-
Cookie：服务端response发放给客户端，客户端下次访问时携带方便识别（买了课的用户才能看视频，门票，证件），用于需要登录才能获取数据的网站（微博），登录--获取cookie--设置到header--爬取
-
- Request 方法
- GET：向服务器请求数据，只有header，没有body，安全（不修改服务器数据），抓网页用
- POST：向服务器发送内容，有header和body，不安全（可能修改服务器数据），抓API用
- Idempotent：幂等，多次操作结果不变
- Response的Header
- Location：跳转到地址
- Set-Cookie：服务端给客户端的Cookie
- Status：状态码，表示请求结果
- 2XX：成功
- 3XX：跳转（302：重定向，urllib2库会对重定向做处理，实现自动跳转）
- 4XX：客户端错误（401：未授权，403：拒绝提供服务，404：资源不存在）
- 5XX：服务器错误（500：服务器未知错误，503：服务器不能处理请求）
- 错误处理
- 400：Bad Request，检查请求的参数或路径
- 401：Unauthorized，需授权的网页的Cookie到期，尝试重新登录
- 403：Forbidden，需要登录的网站，尝试重新登录；IP被封，暂定爬取，增加爬虫等待时间
- 404：Not Found，直接丢弃
- 5XX：直接丢弃，并计数，如连续不成功，停止爬取
CSS
- class、id可帮助定位爬取内容
DOM树
- 通过路径找到内容
JavaScript
- 动态网页：如京东，价格信息通过js动态请求然后渲染，不能通过直接下载HTML获取信息
- 通过AJAX接口爬取，可能更简单
爬取原理
- 网页间通过<a>构成网页树
- 宽度优先：把孩子节点放入队列
- 深度优先
- 选取原则
- 重要网页距种子站点较近
- 万维网的深度并没有很深（<=17层），一个网页有很多路径可以到达
- 宽度优先有利于多爬虫合作爬取
- 深度限制与宽度优先结合（深度到达关注网页，再宽度抓取）
- 类比：学的深还是学的专？创业办某领域小公司还是平台型公司
- 深度优先注意限制层数，否则不会停
如何记录抓取历史
- 不重复抓取策略：记录已抓取网页，避免重复访问 如已经爬取了10w网页，又来了1个新网页，如何判断它是否在保存的10w个网页当中[爬虫陷阱]
- 保存在数据库中，效率较低（几十万以下可用）
- 用HashSet将访问的URL保存，只需O(1)代价就可查到是否访问过，消耗内存（URL可能很长）
- URL经MD5（都是16字节）或SHA-1等单向哈希后再保存到HashSet或数据库
- Java的HashTable是一个Hash表再跟一个链表，链表中保存碰撞结果
- Bit-Map方法，建立一个BitSet，将每个URL经哈希函数映射到某一BIT
- Bloom Filter：使用了多个哈希函数映射URL，减少碰撞，提高空间利用率，只能插入不能删除
- pip install murmurhash3 bitarray
- pip install pybloomfilter
如何提高效率
- 评估网站数量
- site:www.mafengwo.cn
- 选择合适HASH算法和空间阈值，降低碰撞几率
- 选择合适的存储结构和算法
总结
- 多数情况不需要压缩，尤其网页数量少的情况
- 网页数量大的情况，使用Bloom Filter压缩
- 重点是验算碰撞概率，并根据碰撞概率来确定存储空间的阈值
- 分布式系统，将散列映射到多台主机的内存