获取豆瓣读书所有热门标签并保存到mongodb数据库

目标url：https://book.douban.com/tag/?view=type&icn=index-sorttags-all

目的：抓取所有标签名称（tag_name），标签链接（tag_url），标签下的书籍数量（tag_book_num）

 先创建一个config.py文件，设置mongpdb的一些配置信息：

抓取代码如下：

import requests
from requests.exceptions import RequestException
from bs4 import BeautifulSoup
import pymongo
from config import *

client = pymongo.MongoClient(MONGO_URL)    # 申明连接对象
db = client[MONGO_DB]    # 申明数据库

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'}


def get_tag_url():
    response = requests.get('https://book.douban.com/tag/?view=type&icn=index-sorttags-all', headers=headers)
    soup = BeautifulSoup(response.text, 'lxml')
    results = soup.find_all('table', {'class': 'tagCol'})
    for result in results:
        pattern = re.compile('<td><a href="(.*?)">(.*?)</a><b>(.*?)</b></td>')
        tag_name_list = re.findall(pattern, str(result))
        for tag_name in tag_name_list:
            yield {
                'tagname': tag_name[1],    # 返回标签名称
                'tag_url': 'https://book.douban.com/' + tag_name[0],    # 返回标签对应链接
                'tag_book_num': tag_name[2]    # 返回标签中对应的书籍数量
            }


# 将所有tagname、tag_url、tag_book_num存到mongodb中
def save_to_mongo(result):
    if db[MONGO_TABLE].insert_one(result):
        print('存储到mongodb成功', result)
        return True
    return False


def main():
    results = get_tag_url()
    for result in results:
        save_to_mongo(result)


if __name__ == '__main__':
    main()

顺利将145个标签保存到数据库啦！

 下一步计划就是抓取每个标签下的书籍信息（书名，作者，出版社，出版日期，价格，评价人数，评分）