Python手动构造Cookie模拟登录后获取网站页面内容

　　最近有个好友让我帮忙爬取个小说，这个小说是前三十章直接可读，后面章节需要充值VIP可见。所以就需要利用VIP账户登录后，构造Cookie，再用Python的获取每章节的url，得到内容后再使用 PyQuery 解析内容。

　　注意：构造Cookie的过程中，需要你在 Chrome/Firefox 登录，然后自己在控制台查看 cookie，然后手动加入。

第一部分：手动构造cookie登录 

#version 2.7

#!/usr/bin/python

import HTMLParser
import urlparse
import urllib
import urllib2
import cookielib
import string
import re

cj = cookielib.LWPCookieJar()

def make_cookie(name, value):
    return cookielib.Cookie(
                            version=0,
                            name=name,
                            value=value,
                            port=None,
                            port_specified=False,
                            domain="yourdomain",
                            domain_specified=True,
                            domain_initial_dot=False,
                            path="/",
                            path_specified=True,
                            secure=False,
                            expires=None,
                            discard=False,
                            comment=None,
                            comment_url=None,
                            rest=None
                            )

cj.set_cookie(make_cookie("name", "value"))


cookie_support = urllib2.HTTPCookieProcessor(cj)
opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)
urllib2.install_opener(opener)


request = "http://vip.xxx.com/m/xxx.aspx?novelid=12&chapterid=100&page=1"

response = urllib2.urlopen(request)
text = response.read()
print text

　　注意：修改22行的 domain，增加35行的 cookie 项， 修改43行的 你的要爬取页面的地址，下面是Chrome下看登录帐号的cookie。

本节参考：百度知道，博客园：python模拟登录， 用Python模拟登录网站。

第二部分：

　　本以为简单，结果折腾了很久。原因是 Python 2.7 的默认编码是 ASCII，导致 BS（Beautifule soup）的结果总是乱码，其实也不是乱码，明显是汉字的 unicode 编码。

　　python 2.7 内部默认编码 sys.defaultencoding 是 ASCII。所以在 BS 解析出的结果出现汉字后，python 将自己无法理解的 汉字 使用 ASCII 格式进行编码存储，导致后面写文件时总是出现 “TypeError: expected a character buffer object” 错误。代码中将 BS 的结果使用 ASCII 解码后，再编码为utf-8 就解决了问题。当然还有其他办法，可以看下面的参考链接。

　　注意：代码文件首行的 #coding=utf-8 的作用只是本代码文件的编码格式设置为 utf-8（这样就可以写中文注释），和上面讲的编码解码不要混淆。

#coding=utf-8
#version 2.7
#!/usr/bin/python

import HTMLParser
import urlparse
import urllib
import urllib2
import cookielib
import string
import re#--------------
hosturl = 'http://login.zhizihuan.com/login/m'
posturl = 'http://m.zhizihuan.com/'
#...此处省略
page = response.read()
#-------------

#part two
from bs4 import BeautifulSoup
from bs4 import SoupStrainer
#beautiful soup 可不用安装，可直接下载该包导入项目即可，因为我是用完就扔掉代码，不发布
#解析部分文档 http://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/#id58

only_tags_with_id = SoupStrainer(id="htmlmain") #提取ID为htmlmain的标签及子元素
novelCnt =  BeautifulSoup(page, "html.parser", parse_only=only_tags_with_id).decode('ascii').encode('utf-8')#指定解析器和过滤
print novelCnt

第三部分：写入本地文件

#part three
file = open("/Users/ql/Documents/novel.txt",'a')
file.write(novelCnt)
file.flush();
file.close()

本节参考：Python文件编码/默认字符转码

《完》