python爬虫练习4——腾讯视频评论提取

由于腾讯视频评论处进行触碰处理，点击后，网址是不变的，所以需要先进行分析。

网址：HBO纪录片：成为沃伦·巴菲特【正片】_成为沃伦·巴菲特_腾讯视频 (qq.com)

点击更多评论，查看F12，可以发现其网址。

打开后，我们发现其通过 'first'和'last’进行评论的翻页。我们需要对网址二次赋值。

import requests
import re

cid = '0'
for i in range(0,2):
    ua = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36 Edg/91.0.864.59'}
    url = 'https://video.coral.qq.com/varticle/1840040664/comment/v2?callback=_varticle1840040664commentv2&orinum=10&oriorder=o&pageflag=1&cursor='+str(cid)+'&scorecursor=0&orirepnum=2&reporder=o&reppageflag=1&source=132'
    r =  requests.get(url ,headers = ua , timeout = 30)
    print(r.encoding,r.status_code)
    print('第'+str(i)+'页')
    print(cid)
    #print(url)

    pat1 = '"content":"(.*?)"'
    comment = re.compile(pat1,re.S).findall(r.text)
    print(comment)

    for item in comment:
        
        print(str(item))
        print('--------------')
        
    pat2 = '"last":"(.*?)"'
    cid  = re.compile(pat2,re.S).findall(r.text)[0]