Python爬虫实验报告之Big_Homework2_Douyu

实验内容：

　　爬取斗鱼视频某一板块的内容

　　采集字段：房间名、主播名、分类信息、热度

流程图：

源码：

import requests
from lxml import etree
from urllib import request
import json

# 全局变量（请求头+文件io对象）
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36 Edg/85.0.564.44'}
file = open('./斗鱼.txt', 'w', encoding='utf-8')


# 采集前端源码
def index():
    for num in range(1, 21):
        base_url = 'https://www.douyu.com/gapi/rkc/directory/mixList/2_181/{}'.format(num)  # 翻页
        print('正在写入', base_url, '中的数据信息...')
        response = requests.get(base_url, headers=headers)
        response.encoding = 'uft-8'  # 解码
        jsons = response.text
        # print(type(jsons))#jsons的数据类型是str
        clean(jsons)  # 清洗数据函数


# 清洗数据
def clean(jsons):
    dicts = json.loads(jsons)  # 将jsons的数据类型由字符型转换成字典型
    # print(dicts)
    info_list = dicts['data']['rl']  # 提取主要信息
    printt(info_list)


# 打印数据信息
def printt(info_list):
    for i in info_list:
        room_number = i['rn']
        # print(room_number)
        homeowner = i['nn']
        # print(homeowner)
        heat = i['ol']
        # print(heat)
        C2name = i['c2name']
        # 整合数据信息
        full_info = C2name + '房间号：' + room_number + '	' + '房主：' + homeowner + '	' + '热度：' + str(heat)
        # 写入文件
        file.write(full_info + '
')


if __name__ == '__main__':
    index()
    file.close()

实验过程中的部分截图：

实验心得：

脑子里回忆着今天上午所学的内容，指下却一刻都没停过，找可供翻页的网址，解码，转换，清洗提取信息，整合成自己所乐意看到的信息样式，看到最后run出来的斗鱼.txt文档，真的是满满的成就感。虽然连着搞了2个小时左右叭，却毫无疲惫之意，开心编程莫过于此！