关于html的多行匹配，正则re.S的使用（爬取豆瓣电影短评）

首先本文参考了上述两篇文章，爬取豆瓣电影栏目上“看不见的客人短评”，并将其导入cvs。

关于正则匹配多行html，实际上需要在原有基础上加入re.S。

这样，每行行末尾将通过“ +空格”的形式呈现出来。

而实际上匹配可以通过.*?直接过滤掉。

详情可看第13行。

另说python的pandas模块，使用DataFrame的to_cvs导入还需要进行编码转换，避免乱码。

#coding=utf-8
import requests
import re
import pandas as pd
headers={
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36',
    'Host':'movie.douban.com'
    }
cookies={'Cookie':'你自己的COOKIE'}
url='https://movie.douban.com/subject/26580232/comments?status=P'
html=requests.get(url,headers=headers,cookies=cookies)
reg=re.compile(r'<a href="(.*?)&amp;status=P".*?class="next">')
ren=re.compile(r'<span class="comment-info">.*? class="">(.*?)</a>.*?<span>.*?title="(.*?)"></span>.*?<span.*? title="(.*?)">.*?<p class="">(.*?)
',re.S)
while html.status_code==200:
    url_next='https://movie.douban.com/subject/26580232/comments'+re.findall(reg,html.text)[0]
    keren=re.findall(ren,html.text)
    data=pd.DataFrame(keren)
    print(data)
    print(url_next)
    data.to_csv('/Users/b1ancheng/Desktop/kerenduanping.csv',header=False,index=False, mode='a+',encoding="utf_8_sig")
    data=[]
    keren=[]
    html=requests.get(url_next,headers=headers,cookies=cookies)

参考链接：http://www.python(tab).com/html/2017/pythonhexinbiancheng_0904/1170.html(去除括号)

　　　　   http://blog.csdn.net/eastmount/article/details/51082253

望兄多提意见，共同进步。