zoukankan      html  css  js  c++  java
  • Scrapy中怎么传递用户自定义的参数到爬虫文件所在的类中呢?

    问题:

      我试图将用户定义的参数传递给scrapy的爬虫文件。我知道应该使用  -a  参数 但是我对于这个参数不是太明白?

      想要通过crawl命令行命令传入自定义参数应该使用-a选项,例如:

    scrapy crawl myspider -a category=electronics -a domain=system
    

      爬虫可以将参数以属性的方式传递进来:

    class MySpider(scrapy.Spider):
        name = 'myspider'
    
        def __init__(self, category='', **kwargs):
            self.start_urls = [f'http://www.example.com/{category}']  # py36
            super().__init__(**kwargs)  # python3
    
        def parse(self, response)
            self.log(self.domain)  # system
    

      

  • 相关阅读:
    二进制编译http
    http服务
    FTP服务
    DAY01
    直流电机调速作业
    机械大楼电梯控制项目
    仿真作业
    第六周作业
    第五周作业
    第四周仿真作业
  • 原文地址:https://www.cnblogs.com/renshaoqi/p/11177672.html
Copyright © 2011-2022 走看看