zoukankan      html  css  js  c++  java
  • spiderkeeper使用教程

    安装包

    pip install scrapy
    pip install scrapyd
    pip install scrapyd-client
    pip install spiderkeeper
    

    进入到scrapy项目的根目录:

    运行scrapyd

    scrapyd
    

    如果不出错就会生成一个scrapyd的服务。

    打开对应页面

    再另起窗口执行spiderkeeper命令

    spiderkeeper
    

    打开spiderkeeper的页面

    默认用户名:admin
    密码:admin
    

    创建项目

    点击Projects-》Create Project

    打包egg文件

    在scrapy的项目根目录,也就是和setting.py一个等级.

    scrapyd-deploy -p chahao -v 1.0 --build-egg chahao.egg
    

    -p后面加的是项目的名字,也就是scrapy爬虫文件的name,后面的内容可以不管,注意最后.egg的文件名规范就行。

    点击deploy上传项目

    提交以后看到部署成功即可。

    执行项目

    点击Dashboard然后点击Runonce选择对于的爬虫文件运行即可。

    成功之后就可以看到上图的情况,刷新页面
    可以查看爬虫的日志和运行状态,点击stop即可停止运行爬虫。

    遇到坑

    坑1:
    提交完了之后,运行文件看不到东西。
    看后台发现scrapyd出错了,错误如下

    可知原因是项目中没有安装msgpack这个包,安装即可,通过这个错误可以知道,在提交项目到spiderkeeper对应的机器时
    需要保证该机器的环境能正常运行程序。

  • 相关阅读:
    日志/异常处理(nnlog+traceback)
    Excel操作
    商品管理系统
    大乐透作业
    随机生成密码作业
    时间相关的模块
    os模块
    sys模块
    Pytho中dict(或对象)与json之间的互相转化
    Python三元表达式和列表生成式
  • 原文地址:https://www.cnblogs.com/c-x-a/p/10836635.html
Copyright © 2011-2022 走看看