Python爬虫基础之Cookie

一、Cookie会话

　　简单地说，cookie就是存储在用户浏览器中的一小段文本文件。Cookies是纯文本形式，它们不包含任何可执行代码。一个Web页面或服务器告之浏览器来将这些信息存储并且基于一系列规则在之后的每个请求中都将该信息返回至服务器。当服务器收到浏览器请求附带的Cookie会话信息，会认为浏览器发出的请求是合法的，是经过身份验证的。否则，会拒绝浏览器的请求。

二、访问需要登录态Cookie的页面

1.使用opener.open()方式

import urllib.request
import urllib.parse
import re
import http.cookiejar
import urllib.error

user_agent = 'Mozilla/5.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/600.1.3 (KHTML, like Gecko) Version/8.0 Mobile/12A4345d Safari/600.1.4'
# 初始化headers
headers = {'User-Agent': user_agent}
url = 'http://xxx.xxx.com/auth/valid.json'
cookie_filename = 'cookie.txt'
cookie = http.cookiejar.MozillaCookieJar(cookie_filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)

try:
    # 登录分期乐
    params = {'uin': 'xxxxx', 'passwd': 'xxxxxx', 'imgcode': '',
              '_1': '6', '_2': '46888', '_3': '24624940', 'url': ''
              }
    data = urllib.parse.urlencode(params).encode(encoding='utf-8', errors='ignore')
    request = urllib.request.Request(url, data=data, headers=headers, method='POST')
    response = opener.open(request)
    buff = response.read()
    html = buff.decode('utf-8')
    cookie.save(ignore_discard=True, ignore_expires=True)  # 保存cookie到cookie.txt中
    for item in cookie:
        print('Name = ' + item.name)
        print('Value = ' + item.value)
    if re.search('ok', html):
        print('login success')
        # 访问需要登录态Cookie的页面
        target_url = 'http://order.xxxxxx.com/order/list.html'
        request = urllib.request.Request(target_url, headers=headers, method='GET')
        response = opener.open(request)
        print(response.read().decode('utf-8'))
    else:
        print('login fail')
except urllib.error.HTTPError as e:
    print(e.reason)
except urllib.error.URLError as e:
    print(e.reason)

现在我们来分析下以上的代码，怎么保存并把cookie传递到后续每个需要登录态的请求：

cookie_filename = 'cookie.txt'cookie = http.cookiejar.MozillaCookieJar(cookie_filename)
cookie.save(ignore_discard=True, ignore_expires=True) 
引用http.cookiejar.MozillaCookieJar类声明一个FileCookieJar对象cookie，cookie可以用来把请求获取到的cookie会话信息保存到以cookie_filename命名的文件中，还可以在页面请求时从cookie文件中加
载会话信息并作为请求头参数Cookie。

handler = urllib.request.HTTPCookieProcessor(cookie) 

opener = urllib.request.build_opener(handler)

引用urllib.request.HTTPCookieProcessor类声明一个handler对象，用来处理http cookie会话信息，并把它作为参数传递给urllib.request.build_opener，设置成全局的http handler处理器，这样使用

opener.open()的请求都会带上之前保存的cookie会话信息。

2.使用urllib.request.urlopen()方式

try:
    # 登录分期乐
    params = {'uin': 'xxxxxx', 'passwd': 'xxxxxx', 'imgcode': '',
              '_1': '6', '_2': '46888', '_3': '24624940', 'url': ''
              }
    data = urllib.parse.urlencode(params).encode(encoding='utf-8', errors='ignore')
    request = urllib.request.Request(url, data=data, headers=headers, method='POST')
    response = opener.open(request)
    buff = response.read()
    html = buff.decode('utf-8')
    cookie.save(ignore_discard=True, ignore_expires=True)  # 保存cookie到cookie.txt中
    order_cookie = []
    for item in cookie:
        print('Name = ' + item.name)
        print('Value = ' + item.value)
        e = (item.name, item.value)  # 转换为元祖，保存到列表中
        order_cookie.append(item.name + '=' + item.value)

    order_cookie = ';'.join(order_cookie)  # 拼接成a=b;c=d;格式字符串 
    if re.search('ok', html):
        print('login success')
        # 访问需要登录态Cookie的页面
        target_url = 'http://order.xxxxxx.com/order/list.html'
        order_headers = {
            'User-Agent': user_agent,
            'Cookie': order_cookie  # 请求头带上Cookie
        }
        request = urllib.request.Request(target_url, headers=order_headers, method='GET')
        response = urllib.request.urlopen(request)
        print(response.read().decode('utf-8'))
    else:
        print('login fail')
except urllib.error.HTTPError as e:
    print(e.reason)
except urllib.error.URLError as e:
    print(e.reason)

与opener.open()方式相比，通过urllib.request.urllib发送请求方式稍微复杂些，首先需要遍历返回的登录态的cookie，转换为元素并保存到列表orderlist里面，再通过字符串join(seq)方法拼接成字符串，最后以字典格式添加到请求头order_headers里面传递给

Request对象的参数headers赋值，调用urllib.request.urlopen()就能带上Cookie会话信息请求了，虽然步骤挺多，不过方法还是行得通的。