爬取豆瓣书籍信息

最近在看崔老师的爬虫课程，跟着课程上的爬豆瓣书籍信息，看视频很快，但是到自己这边执行就非常慢，大概执行两小时才爬下十几行数据，这是不能忍受的，发现使用re_complile不知在哪卡着就非常慢，所以使用曲线方式，先抓取要爬的html部分，分步骤用re_compile来过滤，这个时候就快很多了，具体代码如下：

 

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import re
import time
import requests
from requests.exceptions import RequestException
from bs4 import BeautifulSoup


print(time.asctime())

def get_page(url):
    try:
        content = requests.get(url)
        if content.status_code == 200:
            return content.text
        return None
    except RequestException:
        return None

def parse_page(html):
    soup = BeautifulSoup(html,'lxml')
    data = soup.select('.slide-list .info')        #css选择器将html中info标签下取出
    for html2 in data:
        pattern = re.compile(
            '<div.*?href="(.*?)".*?title="(.*?)".*?more-meta.*?author">(.*?)</span>.*?year">(.*?)</span>.*?</div>',
            re.S)
        items = re.findall(pattern,str(html2))    #由于HTML2类型为bs4.element.Tag的，在这需要转成str才能findall出来
        for item in items:
            yield {
                'index': item[0],
                'book': item[1],
                'author': item[2],
                'date': item[3]
            }


def main():
    url = 'https://book.douban.com/'
    html = get_page(url)
    for  data  in parse_page(html):
        print(data)


if __name__ == '__main__':
    main()