zoukankan      html  css  js  c++  java
  • 潭州课堂25班:Ph201805201 爬虫高级 第九课 scrapyd 部署 (课堂笔记)

    c

    rapyd是 scrapy 的部署, 是官方提供的一个爬虫管理工具,

    通过他可以非常方便的上传控制爬虫的运行,

    安装 : pip install scapyd

    他提供了一个json ,web, server

    在命令行中输入scrapyd 回车,

    给个本地请求:  curl http://localhost:6800

    如果 是无界面的 linux ,可以通过端口转发

     python安装库的路径

    vim进到该文件中 默认为127.0.0.1

    这样就可以访问了,

     

    还要安装个客户端, pin install scrapy client

    在这个文件中配置服务信息

    需要配置的就这两个,一个是服务器 ip, 一个是项目名,

    列出可用的服务器

    部署项目: scrapyd-deploy <target0> -p <project>--version<version>

     用最装箱单的方法写推送:scrapyd-deploy -p 项目名

     调用爬虫: curl http://localhost:6800/schedule.json -d project xxx -d spider=xx

    xxx 是项目名,

    xx 是爬虫的名字,在项目里的 spider 目录下的 xx.py 文件的名字

     取消爬虫: curl http://localhost:6800/cancer.json -d project xxx -d job=0000000

    其中0000000表示这个爬虫的 jobid

     

    列出所有的 job:      curl http://localhost:6800/listjobs.json?project=xxx

     其中 xxx 项目名

    列出爬虫:      curl http://localhost:6800/listjobs.json?spider=xxx

    删除项目: curl http://localhost:6800/delproject.json -d projec=xxxx -d version=

    查scrapy 进程id

  • 相关阅读:
    docker--docker介绍
    docker--虚拟化
    高级运维工程师的打怪升级之路
    mysql常用函数
    CentOS 7 下使用 Firewall
    51nod 1094 和为k的连续区间(map+前缀和)
    51nod 1092 回文字符串(dp)
    51nod 1062 序列中最大的数(打表预处理)
    51nod 1284 2 3 5 7的倍数(容斥原理+反面思考)
    51nod 1347 旋转字符串(思维好题)
  • 原文地址:https://www.cnblogs.com/gdwz922/p/9801741.html
Copyright © 2011-2022 走看看