zoukankan      html  css  js  c++  java
  • 常见爬虫反扒措施

    header  浏览器的请求头 (全国动产抵押监督管理平台)
    User-Agent  用户代理,表明访问源身份的一种方式  (全国动产抵押监督管理平台)
    Referer  访问的目标链接是从哪个链接跳转过来的(做防盗链的话,就可以从它入手)HTTP来源地址(referer,或 HTTP referer)是HTTP表头的一个字段,用来表示从哪儿链接到目前的网页,采用的格式是URL。换句话说,借着HTTP来源地址,目前的网页可以检查访客从哪里而来,这也常被用来对付伪造的跨网站请求。 (中国裁判文书网)
    Host  同源地址判断,用它会很有用 (IT桔子)
    IP  同一个IP短时多次访问,就很有可能是爬虫,反爬虫会对此做处理 (搜狗微信)
    访问频率 短时多次高并发的访问,基本上就是有问题的访问 (搜狗微信)
    Cookie 存储在浏览器端,常用来保存“认证数据”,请求会携带这些数据发送给服务器,这样服务器才能判断当前请求的状态 (北京市企业信用信息网)
    动态请求加载  通过Ajax异步加载的网页内容在网页源码中是没有的,网页返回的response中是解析不到我们想要的内容的 (大众点评)
    网站数据加密  抓取下来的数据是经过加密的,给爬虫数据处理带来问题 (去哪儿)
    混淆js加密  首次请求数据时,服务端返回动态的混淆加密过的JS,而这段JS的作用是给Cookie添加新的内容用于服务端验证,此时返回的状态码一般不是200。浏览器带上新的Cookie再次请求,服务端验证Cookie通过返回数据(这也是为嘛代码不能返回数据的原因)  (中国裁判文书网)
    验证码  用户请求频率过高的时候,有些网站就会触发验证码验证机制,让你输入各种验证码 (12306)
    登录  需要用户登录之后才能够获取页面中的信息,那么这种防护能非常有效的防止数据大批量的被爬取 (IT桔子)
    限制网页返回数据条数  网页刚开始会显示很多条,当你账号或者一段时间后网页返回数据,你只能局限于前几页或者前几条 (IT桔子)
    Noscript标签的使用 <noscript>标签是在浏览器(或者用户浏览标识),没有启动脚本支持的情况下触发的标签,在低级爬虫中,基本都没有配置js引擎,通常这种方式和Ajax异步加载同时使用。用于保护自己不想让爬虫接触的信息。当JavaScript被禁用或者不被支持时提供的一种代替方式,即 noscrip 标签中的内容会在此时被浏览器解析,作为 javascript 不可用时的备选方案。

  • 相关阅读:
    Java之JDK的下载与安装,java环境变量的配置,Editplus的下载与使用
    JAVA基础语法
    数据库设计
    数据库练习题
    连接查询,子查询,联合查询
    Java内存管理-掌握虚拟机类加载器(五)
    Java内存管理-掌握虚拟机类加载机制(四)
    Java内存管理-JVM内存模型以及JDK7和JDK8内存模型对比总结(三)
    Java内存管理-初始JVM和JVM启动流程(二)
    Java内存管理-程序运行过程(一)
  • 原文地址:https://www.cnblogs.com/hongdoudou/p/12680250.html
Copyright © 2011-2022 走看看