一.基本概念简介
1.爬虫:
自动获取网站数据的程序,关键是批量的获取。
2.反爬虫:
使用技术手段防止爬虫程序的方法。
3.误伤:
反爬技术将普通用户识别为爬虫,如果误伤过高,效果再好也不能用。(如局域网【学校,网吧等】可能用的是同一个ip,如果有人写了一个爬虫,把ip封了,可能损失很多用户。还有可能ip动态分配,重启路由器ip很有可能切换,而被禁的ip有可能在其他用户那儿。)
4.拦截:
成功拦截爬虫,一般拦截率越高,误伤率越高。
二.反爬虫的目的
1.初级爬虫:
简单暴力,不管服务器压力,容易弄垮网站。
2.数据保护:
保护数据不被窃取。
3.失控爬虫:
由于某些情况忘记或无法关闭的爬虫。
4.商业竞争对手:
行业间竞争窃取数据。
三.爬虫与反爬虫对抗过程