zoukankan      html  css  js  c++  java
  • HTTP Error 403: Forbidden

    在写网页爬虫的时候,有的网站会有反爬取措施,所以有可能出现上面所示bug

    出现bug的地方可能有两处:

    1. requests请求时

      requests.get(url),返回结果是403。

      解决方法:

      headers= {

          'User-Ageent':'一些字符',

          'Cookie':'一些字符'

       }

      requests.get(url, headers=headers),

      此时返回结果应该就是200,正常。加入headers的目的是,模拟人的行为,让服务器认为是人在操作,

      User-Agent, Cookie可以查看网页requests,即可查明,不同网页,Cookie不同

    2. urlretrieve下载东西时

      解决方法:

     import urllib.request
    
    opener=urllib.request.build_opener()
    opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1941.0 Safari/537.36')]
    urllib.request.install_opener(opener)
    
    url=''
    local=''
    urllib.request.urlretrieve(url,local)
    

      原理还不是很清楚,在stackoverflow上找到的,结果正确。

    
    
  • 相关阅读:
    JDBC
    MySQL 事务
    MySQL 处理海量数据时一些优化查询速度方法
    MySQL 分支和循环结构
    MySQL 分页查询和存储过程
    Oracle PL/SQL异常、存储过程和触发器
    Oracle PL/SQL游标
    mysql主键问题
    spring-springmvc code-based
    AOP实现原理
  • 原文地址:https://www.cnblogs.com/fenglj/p/7291343.html
Copyright © 2011-2022 走看看