爬虫---11.重定向问题

• 碰到重定向问题了，302，暂时还不知道怎么解决先记录上

  • 先把aiohttp更换成了requests再找解决办法

            # 暂时还没找到解决办法,先把cookie保存了,用session访问
            res = requests.get(url, headers=headers, allow_redirects=False)
    
            # 获取cookie  cookie = res.cookies 随后转成字典格式
            cookie_dic = requests.utils.dict_from_cookiejar(res.cookies)
            
            # 然后用session访问
            session = requests.Session()
            response = session.get(url, headers=headers, cookies=cookie_dic, allow_redirects=False)
    

  • 关于请求头字段的解释

    • accept: 浏览器通过这个头告诉服务器，它所支持的数据类型
    • Accept-Charset: 浏览器通过这个头告诉服务器，它支持哪种字符集
    • Accept-Encoding： 浏览器通过这个头告诉服务器，支持的压缩格式
    • Accept-Language： 浏览器通过这个头告诉服务器，它的语言环境
    • Host： 浏览器通过这个头告诉服务器，想访问哪台主机
    • If-Modified-Since: 浏览器通过这个头告诉服务器，缓存数据的时间
    • Referer： 浏览器通过这个头告诉服务器，客户机是哪个页面来的 防盗链