zoukankan      html  css  js  c++  java
  • 【scrapy运行姿势】scrapy.cmdline.execute

    scrapy.cmdline.execute

    scrapy的cmdline命令

    1.启动爬虫的命令为:scrapy crawl (爬虫名)

    2.还可以通过以下方式来启动爬虫

      方法一:创建一个.py文件(这里的爬虫文件名可以自己定义,例:myspider.py)

    # -*- coding:utf-8 -*-
    from scrapy import cmdline
    # 方式一:注意execute的参数类型为一个列表
    cmdline.execute('scrapy crawl spidername'.split())
    # 方式二:注意execute的参数类型为一个列表
    cmdline.execute(['scrapy', 'crawl', 'spidername'])

      方法二:在终端通过 python myspider.py 也可以执行该文件。(一定要进入该目录再运行,否则提示project未启动)

    runnings.py最后提一下吧,其实就是一个在python中运行cmd的命令

    from scrapy import cmdline
    # 方式一:注意execute的参数类型为一个列表
    cmdline.execute('scrapy crawl spidername'.split())
  • 相关阅读:
    BGP
    ospf路由认证
    rip路由认证
    php-数组的相关函数及排序算法
    php-多维数组,数组遍历
    php-数组的概念,语法及特点
    php-错误处理
    MySQL性能优化
    JUC多线程03
    JUC多线程01
  • 原文地址:https://www.cnblogs.com/hightech/p/12884379.html
Copyright © 2011-2022 走看看