什么是cookie?
在网站中,HTTP请求时无状态的,也就是说即使第一次和服务器连接后并且登录成功后,第二次请求服务器依然不能知道当前请求是谁,cookie的出现就是为了解决这个问题,第一次登陆后服务器返回一些数据(cookie)给浏览器,然后浏览器保存在本地,当该用户发送第二次请求的时候,就会自动的把上次请求存储的cookie数据自动的携带给服务器,服务器通过浏览器携带的数据就能判断当前用户是哪个了。cookie存储的数据量有限,不同浏览器有不同的存储大小,但一般不超过4KB,因此使用cookie只能存储一些小量的数据
cookie 的格式:
Set-Cookie: NAME=VALUE;Expires=DATE;Path=PATH;Domain=DOMAIN_NAME;SECURE
参数意义:
NAME:cookie的名字
VALUE:cookie的值
Expires:cookie的过期时间
Path:cookie的作用路径
Domain:cookie作用的域名
SECURE:是否只在https协议下起作用
使用cookielib库和HTTPCookieProcessor模拟登陆
cookie是指网站服务器为了辨别用户身份和进行session跟踪,而存储在用户浏览器上的文本文件,cookie可以保持登陆信息到用户下次与服务器的会话,这里以人人网为例,人人网中, 要访问个人的主页,必须先登录才能访问,登陆说白了就是要有cookie信息,那么如果我们想要用代码的方式访问,就必须要有正确的cookie信息才能访问,解决方案有两种,第一种是使用浏览器访问,然后将cookie信息赋值下来,放到headers中,示例代码如下:
# 使用cookie登录人人网 from urllib import request # 人人网登陆 url : http://www.renren.com/ # 大鹏董成鹏 url : http://www.renren.com/880151247/profile # 不设置cookie信息 # dapeng_url = 'http://www.renren.com/880151247/profile' # header = { # 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) ' # 'Chrome/75.0.3770.100 Safari/537.36', # } # req = request.Request(dapeng_url, headers=header) # res = request.urlopen(req) # # res.read() 出来是一个bytes类型的数据,bytes-decode-str, str-encode-byte # print(res.read().decode('utf-8')) # with open('/Users/mac/PycharmProjects/TEST/TEST/爬虫day/file/renren.html', 'w') as f: # f.write(res.read().decode('utf-8')) # # 设置cookie信息 # dapeng_url = 'http://www.renren.com/880151247/profile' # header = { # 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) ' # 'Chrome/75.0.3770.100 Safari/537.36', # 'Cookie': 'anonymid=jxcml3nv-wfdivp; depovince=GW; _r01_=1; JSESSIONID=abcXhnCqsGEKg7eTLOrUw; ' # 'ick_login=dfc44a24-a4fd-45d9-be69-6aabe3a786c8; _' # 'de=89E5EC670B337DC16D5D4E9A6EE4D047; first_login_flag=1; ln_uact=15666809216; ' # 'ln_hurl=http://hdn.xnimg.cn/photos/hdn121/20130503/2205/h_main_pQ5D_d0a700000241111a.jpg; id=447270940; ' # 'jebecookies=07393439-a951-4642-ad39-a68eaac5558a|||||; ' # 'p=0bd1602e02b8a9766402dd5917df60070; ' # 't=5d0757048b69b35c0bd06fbf6c8aa7d10; societyguester=5d0757048b69b35c0bd06fbf6c8aa7d10; xnsid=6e55b64f; ' # 'ver=7.0; loginfrom=null; ' # 'jebe_key=5942f4fe-f07c-450a-a9c0-9ef5ce16e6db%7C619532812667f7915f71d620643dd5ba%7C1561516986287%7C1%7C1561516986309; ' # 'jebe_key=5942f4fe-f07c-450a-a9c0-9ef5ce16e6db%7C619532812667f7915f71d620643dd5ba%7C1561516986287%7C1%7C1561516986313; ' # 'wp=1; wp_fold=1' # } # req = request.Request(dapeng_url, headers=header) # res = request.urlopen(req) # # res.read() 出来是一个bytes类型的数据,bytes-decode-str, str-encode-byte # print(res.read().decode('utf-8')) # with open('/Users/mac/PycharmProjects/TEST/TEST/爬虫day/file/renren2.html', 'w') as f: # f.write(res.read().decode('utf-8'))
# cookie模拟自动登录 """ http cookiejar 模块 该模块主要的类有cookiejar,FileCookieJar, MozillaCookieJar,LWPCookieJar 这四个类的作用分别如下: 1,CookieJar:管理HTTP cookie值,存储HTTP请求生成的cookie,向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中,对cookiejar 实例进行垃圾回收后cookie也将丢失 2,FileCookieJar(filename, delayload=None,policy=None);从FileCookieJar派生而来,用来创建FileCookieJar实例,检索cookie信息并将 Cookie存储到文件中,filename是存储cookie的文件名,delayload为True时支持延迟访问文件,即只有在需要时才读取文件或在文件中存储数据。 3,MozillaCookieJar(filename, delayload=None,policy=None),从FileCookieJar派生而来,创建于Mozilla浏览器cookies.txt兼容的 FileCookieJar实例 4,LWPCookieJar(filename, delayload=None,policy=None)),从FileCookieJar派生而来,创建与libwww.per标准的Set_Cookie3文件格式兼容的 FileCookieJar实例 利用http.cookiejar 和 request.HTTPCookierProcessor登录人人网,相关代码如下: """ from http.cookiejar import CookieJar from urllib.parse import urlencode header = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/75.0.3770.100 Safari/537.36', } # 第一步登录 """ 1.1 创建一个cookiejar对象 1.2,使用cookiejar创建一个HTTPCookieProcessor对象 1.3,使用上一步创建的handler创建一个opener 1.4, 使用opener发送登录的请求(人人网的邮箱和密码) """ cookieJar = CookieJar() handler = request.HTTPCookieProcessor(cookieJar) opener = request.build_opener(handler) url = 'http://www.renren.com/PLogin.do' data = { 'email': '15666809216', 'password': 'beauty234', } param_parse = urlencode(data) req = request.Request(url, data=param_parse.encode('utf-8'), headers=header) res = opener.open(req) # 第二部 访问某人主页 dapeng_url = 'http://www.renren.com/880151247/profile' # 不用新建opener,因为之前的已经包含了登录所需要的cookie信息 resp = request.Request(dapeng_url, headers=header) req2 = opener.open(resp) with open('/Users/mac/PycharmProjects/TEST/TEST/爬虫day/file/renren3.html', 'w', encoding='utf-8') as f: f.write(req2.read().decode('utf-8'))
代码优化
from http.cookiejar import CookieJar from urllib.parse import urlencode header = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/75.0.3770.100 Safari/537.36', } # 第一步登录 """ 1.1 创建一个cookiejar对象 1.2,使用cookiejar创建一个HTTPCookieProcessor对象 1.3,使用上一步创建的handler创建一个opener 1.4, 使用opener发送登录的请求(人人网的邮箱和密码) """ def get_opener(): cookieJar = CookieJar() handler = request.HTTPCookieProcessor(cookieJar) opener = request.build_opener(handler) return opener def login_renren(opener): url = 'http://www.renren.com/PLogin.do' data = { 'email': '15666809216', 'password': 'beauty234', } param_parse = urlencode(data) req = request.Request(url, data=param_parse.encode('utf-8'), headers=header) res = opener.open(req) return res def visit_home(opener): # 第二部 访问某人主页 dapeng_url = 'http://www.renren.com/880151247/profile' # 不用新建opener,因为之前的已经包含了登录所需要的cookie信息 resp = request.Request(dapeng_url, headers=header) req2 = opener.open(resp) with open('/Users/mac/PycharmProjects/TEST/TEST/爬虫day/file/renren3.html', 'w', encoding='utf-8') as f: f.write(req2.read().decode('utf-8')) if __name__ == 'main': opener = get_opener() login_renren(opener) visit_home(opener)