Scrapy之start_urls、爬虫中间件之深度，优先级以及源码流程

start_urls内部原理　　

步骤

scrapy引擎来爬虫中取起始的url:
    1.调用start_requests并获取返回值
    2.v = iter(返回值)
    3.
        req1 = 执行v.__next__()
        req2 = 执行v.__next__()
        req3 = 执行v.__next__()
    4.全部放到调度器中        

编写

class ChoutiSpider(scrapy.Spider):
name = 'chouti'
# 爬取定向的网页 只允许这个域名的
allowed_domains = ['chouti.com']
start_urls = ['https://dig.chouti.com/']
cookie_dict = {}

    def start_requests(self):
    # 方式1
    # for url in self.start_urls:
    #     yield Request(url=url)
    # 方式2
    # req_list = []
    # for url in self.start_urls:
    #     req_list.append(Request(url=url))
    # return req_list
    pass

用到的知识

　　可迭代对象或者生成器直接iter方法变成迭代器，以后定制start_urls的时候可以自己直接发post请求，内置默认用的get方法，拿url也可以到缓存redis中拿。

源码部分：

　　

 深度、优先级

源码流程分析

结合我的这篇博文深度https://www.cnblogs.com/Alexephor/p/11437061.html

# -*- coding: utf-8 -*-
import scrapy
from wyb.items import WybItem
from scrapy.dupefilters import RFPDupeFilter
from scrapy.http.response.html import HtmlResponse
from scrapy.http.cookies import CookieJar
from urllib.parse import urlencode
from scrapy.http import Request


class ChoutiSpider(scrapy.Spider):
    name = 'chouti'
    # 爬取定向的网页 只允许这个域名的
    allowed_domains = ['chouti.com']
    start_urls = ['https://dig.chouti.com/']

    def start_requests(self):
        import os
19         # 代理设置 downloadmiddleware中httppxoxy
20         os.environ['HTTP_PROXY'] = '1.1.1.2'
21         os.environ['HTTPS_PROXY'] = 'http://root:woshinizuzong@192.168.10.10:8888/'
        # 方式1
        for url in self.start_urls:
            yield Request(url=url)
        # 方式2
        # req_list = []
        # for url in self.start_urls:
        #     req_list.append(Request(url=url))
        # return req_list

    def parse(self, response):
        """
        第一次访问响应response
        :param response:
        :return:
        """
        from scrapy.spidermiddlewares.depth import DepthMiddleware
        from scrapy.http import Response
        # response.request
        # response.request.meta 此时None
41         print(response.meta.get('depth', 0))
42         # response.request.meta['depth'] = 0

        page_list = response.xpath('//div[@id="dig_lcpage"]//a/@href').extract()
        for page in page_list:
            from scrapy.http import Request
            page = "https://dig.chouti.com"+page
            # 继续发请求，回调函数parse
            yield Request(url=page, callback=self.parse, meta={"proxy": "http://root:woshinizuzong@192.168.10.10:8888/"})

 源码看下

 

 

 

 

 总结：　　

　　- 深度 最开始是0每次在yield原来请求中的depth自加1
　   - 优先级 -= 深度*配置文件优先级默认0