scrapy框架+redis增量式爬虫： 抓取某短视频里面发布的视频的观看次数、点赞等信息的项目工程！

本文仅供学习与交流，切勿用于非法用途！！！

第一部分 分析：

第二部分 实现该工程代码：

这里使用: scrapy startproject ProName > cd ProName > scrapy ganspider spiderName www.xxx.com 创建scrapy工程和爬虫文件.

创建好scrapy工程后，在配置文件settings.py里面设置USER_AGENT、日志级别和ROBOTSTXT_OBEY：

USER_AGENT = '自己设置User_Agent'
LOG_LEVEL = 'ERROR'#设置指定输出（报错的日志），减少CPU的使用率
ROBOTSTXT_OBEY = False #不遵从robots协议

spiderName.py 的代码：

import scrapy
import time
from haokanPro.items import HaokanproItem

class HaokanSpider(scrapy.Spider):
    name = 'haokan'
    # allowed_domains = ['www.xxx.com'] #把这个注释掉 用不到
    start_urls = ['https://haokan.baidu.com/videoui/api/videorec?tab=shishang&act=pcFeed&pd=pc&num=20&shuaxin_id={}'.format(int(round(time.time()*1000)))] #工程起始请求该短视频的url
    url = 'https://haokan.baidu.com/videoui/api/videorec?tab=shishang&act=pcFeed&pd=pc&num=20&shuaxin_id={}'.format(int(round(time.time() * 1000))) # 设置这个为刷新该短视频的url
    sun = 0 #设置起始刷新的次数，用来做手动请求刷新
    def parse(self, response):

        page_dic = response.json()['data']['response']['videos'] #从之前的分析可以知道，短视频的ajax请求返回的是json，这里使用json对需要的数据信息进行解析提取
        for dic in page_dic:

            video_title = dic['title']
            video_url = dic['play_url']
            source_name = dic['source_name']
            publish_time = dic['publish_time']
            fmlike = dic['fmlike']
            fmplaycnt = dic['fmplaycnt']

            item = HaokanproItem() #实例化一个item对象，并且将解析到的数据储存到该对象中
            item['视频播放内容'] = video_title
            item['视频url'] = video_url
            item['视频作者'] = source_name
            item['视频上传时间'] = publish_time
            item['点赞数量'] = fmlike
            item['视频播放次数'] = fmplaycnt

            yield item #把提取的数据提交给管道
            time.sleep(0.5)#设置个等待时间 防止ip被封

            if self.sun < 11: #结束递归的条件
                new_url = self.url
                self.sun += 1
                yield scrapy.Request(url=new_url, callback=self.parse)#通过多次刷新短视频url来获取短视频里面发布的视频的观看次数、点赞等信息，并且把返回的数据给函数parse解析提取数据

** items.py 的代码：**

class HaokanproItem(scrapy.Item):
   
    视频播放内容 = scrapy.Field()
    视频url = scrapy.Field()
    视频作者 = scrapy.Field()
    视频上传时间 = scrapy.Field()
    点赞数量 = scrapy.Field()
    视频播放次数 = scrapy.Field()

通过多次刷新短视频url来获取短视频里面发布的视频的观看次数、点赞等信息，肯定会有重复的，这里使用redis数据库短视频的播放url进行记录表出重处理，在数据管道 pipelines.py 使用redis数据库做记录表出重处理：

from redis import Redis#导入Redis

class HaokanproPipeline:
    conn = Redis(host='127.0.0.1', port=6379)#数据库链接对象

    def process_item(self, item, spider):

        ex = self.conn.sadd('haokan_url',item['视频url'] )#把短视频的播放url储存在redis数据库里面，储存的文件夹命名为'haokan_url'

        if ex == 1:#表示url没有记录在redis数据库里面
            print(item)#打印下短视频的信息
            self.conn.lpush('videoData',item)#把抓取到的短视频信息保存到redis数据库里面，储存的数据的文件夹命名为'videoData'
        else:
            print('暂无数据更新！')#表示url有记录在redis数据库haokan_url里面

        return item

ok 然后在 配置文件 settings.py 里面开启数据管道：

ITEM_PIPELINES = {
   'haokanPro.pipelines.HaokanproPipeline': 300,
}

最后开启redis数据库 跑下工程：

本文可以借鉴学习，切勿照搬，根据自己分析的实际情况实现项目！！！