python爬虫学习：第一爬_快眼看书排行榜

import json
import re
from urllib.request import urlopen    # urllib用法：https://www.jb51.net/article/65279.htm

# 思路：通过url获取网页内容--》匹配需要内容---》拿到内容写入文件


def get_page(url):
    """
    获得网页代码字符串，以便操作
    :param url: 传入网址
    :return:  返回utf编码得字符串
    """
 # respond对象有一个方法叫着read(),用它读出来是一个bytes类型得数据，需要转码
    respond = urlopen(url)  
    return respond.read().decode('utf-8')  
# 如果不用，将返回得是一个对象 <http.client.HTTPResponse object at 0x000001E25553EE10>

# 将得到的字符串传入，通过正则匹配出需要的内容，返回
def parse_page(s_strfile, pattern):
    """
    通过正则去匹配传入的字符串，得到想要的内容
    为节约时间，因为每次都要用相同的正则规则去匹配我想要的内容，故可以将正则配置成一个对象，然后对象通过调用方法查值
    为节约空间，可用迭代器取值，乘上将对象封装成一个生成器，每次取一个，节约内存
    :param s_strfile:
    :return:
    """
    # com = re.compile('<td class="s">.*?<a href=.*?>(?P<x_name>.*?)</a>.*?<a href=.*?>(?P<x_title>.*?)</a>'
    #                   '.*?<td class="t">(?P<x_time>.*?)</td>', re.S)
    # 两行和一行一样的效果
    # com = re.compile(
    #     '<td class="s">.*?<a href=.*?>(?P<x_name>.*?)</a>.*?<a href=.*?>(?P<x_title>.*?)</a>.*?<td class="t">(?P<x_time>.*?)</td>',
    #     re.S)
    # 上面是将正则通过方法compile构建成一个对象

    # 先试着通过findall可以全部取出，但很占内存，故查找结果存储，计划构建成一个生成器，一次取一个
    # page = com.findall(s_strfile)
    # print(page)

    ret = pattern.finditer(s_strfile)  # 此方法比findall要节省内存，取值用all
    for i in ret:
        yield {'name': i.group('x_name'),
               'title': i.group('x_title'),
               'time': i.group('x_time')}


def main(page_num, pattern):
    """
    接收运行次数及正则规则，写入文件
    :param page_num:
    :param pattern:
    :return:
    """
    url = 'http://booksky.99lb.net/sodupaihang/page%s' % page_num
    response_html_code = get_page(url)
    ret = parse_page(response_html_code, pattern)
    with open('xiaoshuo_info.txt', 'a', encoding='utf-8') as f:
        for data in ret:
            write_line_str = json.dumps(data, ensure_ascii=False)  # json 为字符串
            f.write(''.join([write_line_str, '
']))


# 编译正则规则为一个对象，放在全局变量，只需编译一次即可，省时间
pattern = re.compile(
    '<td class="s">.*?<a href=.*?>(?P<x_name>.*?)</a>.*?<a href=.*?>(?P<x_title>.*?)
</a>.*?<td class="t">(?P<x_time>.*?)</td>',
    re.S)

if __name__ == '__main__':
    for num in range(1, 11):
        main(num, pattern)