Python爬取知乎问题收藏夹 爬虫入门

简介

知乎的网站是比较好爬的，没有复杂的反爬手段，适合初学爬虫的人作为练习
因为刚刚入门python，所以只是先把知乎上热门问题的一些主要信息保存到数据库中，待以后使用这些信息进行数据分析，爬取的网页链接是赞同超过1000的回答

网页分析

1.分析网站的页面结构

准备提取热门问题的问题、答主、赞数、评论数等内容

界面分析

2.分析网站的元素

选择页面中需要爬取的内容对应的元素，分析特征(class,id等)，稍后使用BeautifulSoap爬取这些内容

HTML分析

3.用Beautifulsoup解析获取的网页

这些网页的url的数字是递增的，拼接字符串就可以得到网页的链接了

url_part = "https://www.zhihu.com/collection/19928423?page="  # 赞数超过一千的收藏夹
url = url_part + str(i)  # 拼接知乎爬取链接

用BeautifulSoap解析部分的代码

def find_answers(url, collection):
    get_html = requests.get(url, headers=Web.headers)  # requests请求页面内容
    soup = BeautifulSoup(get_html.text, 'lxml')  # BeautifulSoup解析页面内容
    items = soup.find_all('div', class_="zm-item")  # 获取所有的热门问题内容
    success = 0
    error = 0
    for item in items:
        try:
            data = store_answer(item)
            collection.insert(data)  # 插入到数据表中
        except AttributeError as e:
            error += 1  # 发生错误
        else:
            success += 1

def store_answer(answer):
    data = {
        "title": answer.find("h2", class_="zm-item-title").text,  # 问题题目
        "like_num": answer.find("div", class_="zm-item-vote").text,  # 问题赞数
        "answer_user_name": answer.find("div", class_="answer-head").find("span", class_="author-link-line").text,  # 答主姓名
        "answer_user_sign": answer.find("div", class_="answer-head").find("span", class_="bio").text,  # 答主签名
        "answer": answer.find("div", class_="zh-summary summary clearfix").text,  # 问题摘要
        "time": answer.find("p", class_="visible-expanded").find("a", class_="answer-date-link meta-item").text,  # 问题编辑时间
        "comment": answer.find("div", class_="zm-meta-panel").find("a",
                                                                   class_="meta-item toggle-comment js-toggleCommentBox").text,
        # 问题评论数
        "link": answer.find("link").get("href")  # 问题链接
    }
    return data

4.完整代码

import time  # 计算程序时间所用的库
import requests  # 获取页面所用的库
from bs4 import BeautifulSoup  # 提取页面所用的库
from pymongo import MongoClient  # 连接数据库所用的库


class Web:
    headers = {'User-Agent': "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/"
                             "56.0.2924.87 Safari/537.36"}  # 请求头
    url_part = "https://www.zhihu.com/collection/19928423?page="  # 赞数超过一千的收藏夹


def get_collection():
    client = MongoClient('mongodb://localhost:27017/')  # 连接到Mongodb
    db = client.data  # 打开数据库 "data"（数据库名称可以自己修改）
    collection = db.zhihu  # 打开表 "zhihu"（表名称可以自己修改）
    return collection


def store_answer(answer):
    data = {
        "title": answer.find("h2", class_="zm-item-title").text,  # 问题题目
        "like_num": answer.find("div", class_="zm-item-vote").text,  # 问题赞数
        "answer_user_name": answer.find("div", class_="answer-head").find("span", class_="author-link-line").text,  # 答主姓名
        "answer_user_sign": answer.find("div", class_="answer-head").find("span", class_="bio").text,  # 答主签名
        "answer": answer.find("div", class_="zh-summary summary clearfix").text,  # 问题摘要
        "time": answer.find("p", class_="visible-expanded").find("a", class_="answer-date-link meta-item").text,  # 问题编辑时间
        "comment": answer.find("div", class_="zm-meta-panel").find("a",
                                                                   class_="meta-item toggle-comment js-toggleCommentBox").text,
        # 问题评论数
        "link": answer.find("link").get("href")  # 问题链接
    }
    return data


def find_answers(url, collection):
    get_html = requests.get(url, headers=Web.headers)  # requests请求页面内容
    soup = BeautifulSoup(get_html.text, 'lxml')  # BeautifulSoup解析页面内容
    items = soup.find_all('div', class_="zm-item")  # 获取所有的热门问题内容
    success = 0
    error = 0
    for item in items:
        try:
            data = store_answer(item)
            collection.insert(data)  # 插入到数据表中
        except AttributeError as e:
            error += 1  # 发生错误
        else:
            success += 1
    print("Error: %d" % error, end=' ')
    return success


def get_zhihu():
    collection = get_collection()
    start_time = time.time()  # 获取初始时间
    answer_num = 0  # 记录已爬取问题数
    start_page = 1  # 记录已爬取网页数
    last_page = 6319  # 爬取的收藏夹最后一页的页码，可以根据当前数目自行调整
    page_list = [i for i in range(start_page, last_page)]
    for page in page_list:
        print("Page: %d" % page)
        url = Web.url_part + str(page)
        try:
            answer_num += find_answers(url, collection)
            print("Used: %.1fs Total: %d" % (time.time() - start_time, answer_num))
        except Exception as e:
            print(e)
            page_list.append(page)


if __name__ == "__main__":
    get_zhihu()  # 运行爬虫程序
    print("Done")

代码基于Python3.6环境，需要先安装pymongo,BeautifulSoap等依赖库,可在终端中输入pip3 install pymongo bs4 lxml -i https://pypi.douban.com/simple/安装，运行爬虫后的数据库的结果如下图

数据库

总共爬取了近六万条回答，可以在终端使用mongoexport -d data -c zhihu --csv -o zhihu.csv -f question,user_info_name,link,like,comment,time,answer,user_info_sign这条命令将数据库中的数据导出到zhihu.csv(utf-8编码)文件中,也可以改变命令的参数导出成json格式

0.安装及数据库入门

运行本项目需要安装 Python3，Mongodb数据库，可以使用Compass或者Robomongo等可视化软件管理数据库。