zoukankan      html  css  js  c++  java
  • python urllib2 cookie 设置

    在模拟登录一些平台后,在抓取平台数据时需要将cookie设置到urllib2中,python有一个自己的cookielib库,可实现cookie的设置

    #!/usr/bin/env python
    #-*- coding: utf-8 -*-
    
    import urllib2
    import cookielib
    
    #获取一个保存cookie的对象
    cj = cookielib.LWPCookieJar()
    #将一个保存cookie对象,和一个HTTP的cookie的处理器绑定
    cookie_support = urllib2.HTTPCookieProcessor(cj)
    #创建一个opener,将保存了cookie的http处理器,还有设置一个handler用于处理http的URL的打开
    opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)
    #将包含了cookie、http处理器、http的handler的资源和urllib2对象板顶在一起
    urllib2.install_opener(opener)
    
    login_url = "登录url"
    data_url = "需要抓取数据的url"
    
    
    #登录请求
    LoginRequest = urllib2.Request(login_url)
    LoginResponse = urllib2.urlopen(LoginRequest)
    
    #抓取数据请求
    DataRequest = urllib2.Request(data_url)
    DataResponse = urllib2.urlopen(DataResponse)
  • 相关阅读:
    CF1091E
    jzoj5703
    CF1109F
    杂题
    CF1194F
    杂题
    个人作业1-数组(二维数组)
    第三周-学习进度条
    构建之法阅读笔记02
    个人作业1-数组(续1)
  • 原文地址:https://www.cnblogs.com/jeesezhang/p/3611530.html
Copyright © 2011-2022 走看看