在模拟登录一些平台后,在抓取平台数据时需要将cookie设置到urllib2中,python有一个自己的cookielib库,可实现cookie的设置
#!/usr/bin/env python #-*- coding: utf-8 -*- import urllib2 import cookielib #获取一个保存cookie的对象 cj = cookielib.LWPCookieJar() #将一个保存cookie对象,和一个HTTP的cookie的处理器绑定 cookie_support = urllib2.HTTPCookieProcessor(cj) #创建一个opener,将保存了cookie的http处理器,还有设置一个handler用于处理http的URL的打开 opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler) #将包含了cookie、http处理器、http的handler的资源和urllib2对象板顶在一起 urllib2.install_opener(opener) login_url = "登录url" data_url = "需要抓取数据的url" #登录请求 LoginRequest = urllib2.Request(login_url) LoginResponse = urllib2.urlopen(LoginRequest) #抓取数据请求 DataRequest = urllib2.Request(data_url) DataResponse = urllib2.urlopen(DataResponse)