zoukankan      html  css  js  c++  java
  • scrapyd 常用部署命令 & 远程监控 & 爬虫脚本

    一. 部署&运行
    deploy: 部署scrapy爬虫程序

    # scrapyd-deploy  部署服务器名 -p 项目名称
    scrapyd-deploy  ubuntu -p douyu
    run : 运行

    #curl http://localhost:6800/schedule.json -d project=project_name -d spider=spider_name
    curl http://127.0.0.1:6800/schedule.json -d project=douyu -d spider=dy
    stop: 停止

    #curl http://localhost:6800/cancel.json -d project=project_name -d job=jobid
    curl http://127.0.0.1:6800/cancel.json -d project=douyu -d job=$1
     

    二. 允许外部访问配置
    定位配置文件: default_scrapyd.conf

    find /home/wg -name default_scrapyd.conf

    cd /home/wg/scrapy_env/lib/python3.6/site-packages/scrapyd
    允许外部访问:

    vim default_scrapyd.conf

    bind_address = 0.0.0.0
    三. 远程监控-url指令:
    1、获取状态

    http://127.0.0.1:6800/daemonstatus.json

    2、获取项目列表

    http://127.0.0.1:6800/listprojects.json

    3、获取项目下已发布的爬虫列表

    http://127.0.0.1:6800/listspiders.json?project=myproject

    4、获取项目下已发布的爬虫版本列表

    http://127.0.0.1:6800/listversions.json?project=myproject

    5、获取爬虫运行状态

    http://127.0.0.1:6800/listjobs.json?project=myproject

     6、启动服务器上某一爬虫(必须是已发布到服务器的爬虫)

    http://127.0.0.1:6800/schedule.json  (post方式,data={"project":myproject,"spider":myspider})

    7、删除某一版本爬虫

    http://127.0.0.1:6800/delversion.json

    (post方式,data={"project":myproject,"version":myversion})

    8、删除某一工程,包括该工程下的各版本爬虫

    http://127.0.0.1:6800/delproject.json(post方式,data={"project":myproject})

    四. 常用脚本
    循环任务:

    while true
    do
        curl http://127.0.0.1:6800/schedule.json -d project=FXH -d spider=five_sec_info
        sleep 10
    done
     

    实时时间打印:

    echo "$(date +%Y-%m-%d:%H:%M.%S), xx-spider定时启动--"
     
    ----------

  • 相关阅读:
    【hihocoder 1477】闰秒
    【codeforces 768F】Barrels and boxes
    【codeforces 767E】Change-free
    【codeforces 810A】Straight «A»
    【codeforces 810B】Summer sell-off
    【codeforces 810C】Do you want a date?
    【codeforces 757E】Bash Plays with Functions
    【codeforces 749D】Leaving Auction
    Java数据结构与算法(5)
    使用Xshell远程连接管理Linux实践
  • 原文地址:https://www.cnblogs.com/zhaoguangzheng/p/10122694.html
Copyright © 2011-2022 走看看