Scrapy爬虫框架第八讲【项目实战篇：知乎用户信息抓取】--本文参考静觅博主所写

思路分析：

（1）选定起始人（即选择关注数和粉丝数较多的人--大V）

（2）获取该大V的个人信息

（3）获取关注列表用户信息

（4）获取粉丝列表用户信息

（5）重复（2）（3）（4）步实现全知乎用户爬取

 实战演练：

（1）、创建项目：scrapy startproject zhijutest

（2）、创建爬虫：cd zhihutest -----scrapy genspider  zhihu www.zhihu.com

（3）、选取起始人（这里我选择了以下用户）

我们可以看到他关注的人和关注他的人，这些内容是我们（3）（4）步需要获取的

（3）、更改settings.py

代码分析：这里我们设置了不遵守robots协议

robots协议：网络爬虫协议，它用来告诉用户那些内容可以爬取，那些内容禁止爬取，一般我们运行爬虫项目，首先会访问网站的robots.txt页面，它告诉爬虫那些是你可以获取的内容，这里我们为了方便，即不遵守robots协议。

代码分析：这里我们设置了User-Agent和authorization字段（这是知乎对请求头的限制了，即反爬），而这里我们通过设置模拟了在没有登陆的前提下伪装成浏览器去请求知乎

（4）、页面初步分析

右击鼠标打开chrome开发者工具选项，并选中如下箭头所指，将鼠标放在黄色标记上，我们可以发现右侧加载出了一个ajax请求

单击该ajax请求，得到如下页面：我们可以看见黄色部分为每位用户的详细信息的url,它包含多个参数用来存储信息

此时再将页面下滑可以看到如下信息：

该字段为上面参数的字段详情（Query String Parameters，英文好的小伙伴应该一眼发现）

（5）、更改items.py

承接上面将页面点击左侧并翻页，可以看出右侧出现了新的Ajax请求：followees:......这就是他关注者信息，通过点击Preview我们获取了网页源代码，可以发现包含了每一页的用户信息，小伙伴们可以核对下，发现信息能匹配上，我们可以从中发现每页包含20条他的关注者信息，而黑框部分就是包含每一位用户详细信息的参数，我们通过它们来定义item.py(即爬什么？？？)

修改items.py如下：

（6）、更改zhihu.py

第一步：模块导入

# -*- coding: utf-8 -*-
import json

import scrapy

from ..items import UserItem


class ZhihuSpider(scrapy.Spider):
    name = 'zhihu'
    allowed_domains = ['zhihu.com']
    start_urls = ['http://zhihu.com/']

    #设定起始爬取人，这里我们通过观察发现与url_token字段有关
    start_user = 'zhouyuan'

    #选取起始爬取人的页面详情信息，这里我们传入了user和include参数方便对不同的用户进行爬取
    user_url = 'https://www.zhihu.com/api/v4/members/{user}?include={include}'
    #用户详情参数即包含在include后面的字段
    user_query = 'allow_message,is_followed,is_following,is_org,is_blocking,employments,answer_count,follower_count,articles_count,gender,badge[?(type=best_answerer)].topics'

    #这是他的关注者的url,这里包含了每位他的关注者的url，同样我们传入了user和include参数方便对不同用户进行爬取
    follows_url = 'https://www.zhihu.com/api/v4/members/{user}/followees?include={include}&offset={offset}&limit={limit}'
    #他的每位关注者详情参数，即包含在include后面的字段
    follows_query = 'data[*].answer_count,articles_count,gender,follower_count,is_followed,is_following,badge[?(type=best_answerer)].topics'

    #这是他的粉丝的url,这里包含了每位他的关注者的url，同样我们传入了user和include参数方便对不同用户进行爬取
    followers_url = 'https://www.zhihu.com/api/v4/members/{user}/followees?include={include}&offset={offset}&limit={limit}'
    #他的每位粉丝的详情参数，即包含在include后面的字段
    followers_query = 'data[*].answer_count,articles_count,gender,follower_count,is_followed,is_following,badge[?(type=best_answerer)].topics'

    #重新定义起始爬取点的url
    def start_requests(self):
        #这里我们传入了将选定的大V的详情页面的url，并指定了解析函数parseUser
        yield scrapy.Request(self.user_url.format(user=self.start_user, include=self.user_query), callback=self.parseUser)
        #这里我们传入了将选定的大V他的关注者的详情页面的url，并指定了解析函数parseFollows
        yield scrapy.Request(self.follows_url.format(user=self.start_user, include=self.follows_query, offset=0, limit=20), callback=self.parseFollows)
        #这里我们传入了将选定的大V的粉丝的详情页面的url，并指定了解析函数parseFollowers
        yield scrapy.Request(self.followers_url.format(user=self.start_user, include=self.followers_query, offset=0, limit=20), callback=self.parseFollowers)

#爬取每一位用户详情的页面解析函数
    def parseUser(self, response):
        #这里页面上是json字符串类型我们使用json.loads（）方法将其变为文本字符串格式
        result = json.loads(response.text)
        item = UserItem()

        #这里我们遍历了items.py中定义的字段并判断每位用户的详情页中的keys是否包含该字段，如包含则获取
        for field in item.fields:
            if field in result.keys():
                item[field] = result.get(field)
        yield item
#定义回调函数，爬取他的关注者与粉丝的详细信息，实现层层迭代
        yield scrapy.Request(self.follows_url.format(user=result.get('url_token'), include=self.follows_query, offset=0, limit=20), callback=self.parseFollows)
        yield scrapy.Request(self.followers_url.format(user=result.get('url_token'), include=self.followers_query, offset=0, limit=20), callback=self.parseFollowers)

#他的关注者的页面解析函数
    def parseFollows(self, response):
        results = json.loads(response.text)
        #判断data标签下是否含有获取的文本字段的keys
        if 'data' in results.keys():
            for result in results.get('data'):
                yield scrapy.Request(self.user_url.format(user=result.get('url_token'), include=self.user_query), callback=self.parseUser)
        #判断页面是否翻到了最后
        if 'paging' in results.keys() and results.get('paging').get('is_end') == False:
            next_page = results.get('paging').get('next')
            yield scrapy.Request(next_page, callback=self.parseFollows)

#他的粉丝的页面解析函数
    def parseFollowers(self, response):
        results = json.loads(response.text)

        if 'data' in results.keys():
            for result in results.get('data'):
                yield scrapy.Request(self.user_url.format(user=result.get('url_token'), include=self.user_query), callback=self.parseUser)

        if 'paging' in results.keys() and results.get('paging').get('is_end')    == False:
            next_page = results.get('paging').get('next')
            yield scrapy.Request(next_page, callback=self.parseFollowers)

我们可以看到当我们翻到了最后is_end字段变为了True,而next字段就是下一个页面的url

（7）、运行下程序，可以看见已经在爬取了

（8）、将结果存入Mongodb数据库

重写pipelines.py

import pymongo

class MongoPipeline(object):

    collection_name = 'user'

    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DATABASE')
        )

    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]

    def close_spider(self, spider):
        self.client.close()

    def process_item(self, item, spider):
        self.db['user'].update({'url_token' :item['url_token']},{'$set':item},True)

代码分析：

我们创建了名为user的集合

重写了__init__方法指定了数据库的链接地址和数据库名称

并修改了工厂类函数（具体参见上讲ITEM PIPLELIEN用法）

打开数据库并插入数据并以url_token字段对重复数据执行了更新操作

最后我们关闭了数据库

再配置下settings.py

再次运行程序，可以看见我们的数据就到了数据库了