爬虫中有哪些专业术语?
爬虫:自动获取网站数据的程序,关键是批量的获取
反爬虫:使用技术手段防止爬虫程序的方法
误伤:反爬虫技术将普通用户识别为爬虫,效果再好也不能用(禁止ip)
成本:反爬虫需要人力和机器成本
拦截:识别为爬虫,拦截几率越高,误伤越高
反爬虫的目的?
初级爬虫:简单粗暴,不管服务器压力,容易弄挂网站
数据保护:
失控的爬虫:由于某种情况下,忘记和无法关闭爬虫
商业竞争对手