zoukankan      html  css  js  c++  java
  • scrapyd 常用部署命令 & 远程监控 & 爬虫脚本

    一. 部署&运行
    deploy: 部署scrapy爬虫程序

    # scrapyd-deploy  部署服务器名 -p 项目名称
    scrapyd-deploy  ubuntu -p douyu
    run : 运行

    #curl http://localhost:6800/schedule.json -d project=project_name -d spider=spider_name
    curl http://127.0.0.1:6800/schedule.json -d project=douyu -d spider=dy
    stop: 停止

    #curl http://localhost:6800/cancel.json -d project=project_name -d job=jobid
    curl http://127.0.0.1:6800/cancel.json -d project=douyu -d job=$1
     

    二. 允许外部访问配置
    定位配置文件: default_scrapyd.conf

    find /home/wg -name default_scrapyd.conf

    cd /home/wg/scrapy_env/lib/python3.6/site-packages/scrapyd
    允许外部访问:

    vim default_scrapyd.conf

    bind_address = 0.0.0.0
    三. 远程监控-url指令:
    1、获取状态

    http://127.0.0.1:6800/daemonstatus.json

    2、获取项目列表

    http://127.0.0.1:6800/listprojects.json

    3、获取项目下已发布的爬虫列表

    http://127.0.0.1:6800/listspiders.json?project=myproject

    4、获取项目下已发布的爬虫版本列表

    http://127.0.0.1:6800/listversions.json?project=myproject

    5、获取爬虫运行状态

    http://127.0.0.1:6800/listjobs.json?project=myproject

     6、启动服务器上某一爬虫(必须是已发布到服务器的爬虫)

    http://127.0.0.1:6800/schedule.json  (post方式,data={"project":myproject,"spider":myspider})

    7、删除某一版本爬虫

    http://127.0.0.1:6800/delversion.json

    (post方式,data={"project":myproject,"version":myversion})

    8、删除某一工程,包括该工程下的各版本爬虫

    http://127.0.0.1:6800/delproject.json(post方式,data={"project":myproject})

    四. 常用脚本
    循环任务:

    while true
    do
        curl http://127.0.0.1:6800/schedule.json -d project=FXH -d spider=five_sec_info
        sleep 10
    done
     

    实时时间打印:

    echo "$(date +%Y-%m-%d:%H:%M.%S), xx-spider定时启动--"
     
    ----------

  • 相关阅读:
    python : matplotlib does not work in Eclipse
    在线代码生成器的设计和使用
    Hama——BSP、Graph教程
    oozie:hadoop中的工作流引擎
    oracle命令建库全过程
    IntelliJ IDEA 自动生成方法注释(含参数及返回值)转+亲测IDEA2018.3
    转:Can't connect to MySQL server on 'XXXX' (10055) 解决方案
    资源的释放
    java中的break、continue、return的区别
    解析xml文件的方式
  • 原文地址:https://www.cnblogs.com/zhaoguangzheng/p/10122694.html
Copyright © 2011-2022 走看看