zoukankan      html  css  js  c++  java
  • 如何部署Scrapy 到Scrapyd上?

    安装上传工具

    1、上传工具

    scrapyd-client

    2、安装方法:

    pip install scrapyd-client

    3、上传方法:

    python d:Python27Scriptsscrapyd-deploy target -p project

    注:

    target -- 主机地址,如localhost;

    project -- 工程名,如stock_uc;

    4、前提:

    ①假设python安装位置d:Python27

    ②需进入工程目录下执行上传命令;

    ③可选参数:

    --version r03,即:

    python d:Python27Scriptsscrapyd-deploy target -p project --version r03

    安装调度工具curl

    1Linux系统

    一般情况下Linux系统自带curl工具,如果没有请百度安装方法;

    2Windows系统

    1、下载地址:

    链接:http://pan.baidu.com/s/1mgy9zVq

    密码:4lqh

    2、安装方法:

     1)解压下载的文件夹,比如解压后的位置E:in-curl

     2)添加解压后的文件夹路径到环境变量Path中,比如:   D:Python27;D:Python27Scripts;E:in-curl;***

     3)重启电脑是环境变量生效;

     4)测试,运行:curl --help 查看帮助信息;

    调度爬虫

    1、添加版本信息

    curl http://localhost:6800/addversion.json -F project=myproject -F       version=r23 -F egg=@myproject.egg

    2、调度spider执行

    curl http://localhost:6800/schedule.json -d project=myproject -d    spider=somespider

    3、取消spider的执行

    curl http://localhost:6800/cancel.json -d project=myproject -d      job=6487ec79947edab326d6db28a2d8651

    4、列出工程 

    curl http://localhost:6800/listprojects.json

    5、如何启动scrapyd,以及如何把一个现有的工程部署到scrapyd上面:

    第一步:输入scrapyd,敲击enter,等待:

     

    第二步:在这个服务器上部署工程,具体方法前面已经提到过

    第三步:调度spider

    第四步:取消

    第五步:列出工程

    总结

    1,能正确安装scrapyd-client;

    2,能够正确安装curl

    3,学会project的上传和spider的调度;

    文章来源:麦子学院

    原文链接:http://www.maiziedu.com/wiki/crawler/deploy/

  • 相关阅读:
    转:django关于csrf防止跨站的ajax请求403处理
    django后台的admin工具
    转: 全局变量报错:UnboundLocalError: local variable 'l' referenced before assignment
    windowsError:32
    FormData
    django的settings文件
    jquery.serialize() 函数详解
    pycharm中出现unresolved reference的解决办法
    android Listview,gridview局部刷新,部分刷新
    转:Android listview异步图片加载之优化篇——ImageLoader
  • 原文地址:https://www.cnblogs.com/space007/p/5886177.html
Copyright © 2011-2022 走看看