zoukankan      html  css  js  c++  java
  • scrapy项目执行报错:spider 'xxx not found

    运行scrapy项目,在其他地方运行都没问题的情况下,但在某台服务器部署报错:spider 'xxx not found

    在网上搜索此问题,一堆都是爬虫名字写错或目录等问题,但在确信这些都没问题的情况下:

    1)通过scrapy官网api查看已经上传至scrapyd服务的项目:

    curl http://localhost:6800/listprojects.json

     status是ok,证明项目是上传成功的

    2)查看项目中的所有爬虫名称:

    curl http://localhost:6800/listspiders.json?project=项目名称

    发现问题,spiders为空,但打包上传的egg里面确实是有爬虫的,很神奇的现象,也没报其他错误

    3)在一顿猛操作后还是有这个问题,最后只能将项目源码上传至服务器运行,运行.py后发现:报错缺少第三方依赖库。这里吐血ing中,装完缺少的依赖库重新运行后正常。。。

    但明明使用依赖清单requirements.txt安装过依赖库了,而且!运行打包好的项目也没报缺少库的问题,运行正常没报相关错误。。。

    都是血的教训呀!!!

  • 相关阅读:
    模拟22
    模拟21
    模拟20
    模拟19
    晚测11
    Redis 内存模型
    Redis AOF重写
    基础省选题选做
    八年级上 期中考试祭
    P2049 魔术棋子 题解
  • 原文地址:https://www.cnblogs.com/nimantou/p/13097733.html
Copyright © 2011-2022 走看看