zoukankan      html  css  js  c++  java
  • scrapyd在window上的部署

    上午胡乱的弄,没有做记录,导致下午删掉了东西过后scrapy发布不上去了,现在卸载了scrapyd,scrapyd-client重新安装

    安装scrapyd

    scrapyd模块是专门用于部署scrapy项目的,可以部署和管理scrapy项目

    在scrapySpider虚拟环境下面安装scrapyd

    在e盘建一个文件夹,scrapydtest

    进入到该文件夹下面运行scrapyd

     生成一个dbs文件夹,用来存放爬虫爬取的数据的

    安装scrapyd-client

    scrapyd-client模块是专门打包scrapy爬虫项目到scrapyd服务中的

    安装完成后,在虚拟环境的scripts中会出现scrapyd-deploy无后缀文件,这个scrapyd-deploy无后缀文件是启动文件

    该文件在windows下是不能运行的,

    新建一个scrapyd-deploy.bat文件,右键选择编辑,输入以下配置,注意:两个路径之间是空格

    进入到你的爬虫项目中,进入带有scrapy.cfg文件的目录,执行scrapyd-deploy,测试scrapyd-deploy是否可以运行

     

    如果出现下面的情况,是正常的

    编辑scrapy.cfg文件

    再次执行scrapyd-deploy -l 启动服务,可以看到设置的名称

    开始打包前,执行一个命令:scrapy list   ,这个命令执行成功说明可以打包了,如果没执行成功说明还有工作没完成

    执行 scrapy list  命令返回了爬虫名称说明一切ok了,

     执行打包命令: scrapyd-deploy 部署名称 -p 项目名称

     

     运行成功

    查看127.0.0.1:6800

     停止爬虫

    删除scrapy项目

    注意:一般删除scrapy项目,需要先执行命令停止项目下在远行的爬虫

     获取项目下已发布的爬虫版本列表

    知止而后有定,定而后能静,静而后能安,安而后能虑,虑而后能得
  • 相关阅读:
    Office365常用的命令(持续更新中)
    7:OracleRAC安装配置(19C)
    5:安装配置 Oracle18C
    课程7:邮箱的备份恢复
    课程6: powershell运维
    Exchange2013之HTTP重定向
    Powershell运维:导出Exchange系统里面所有用户的邮箱
    灾难恢复:恢复已经删除的邮箱(AD账号也被删除,14天内)
    灾难恢复:恢复丢失的exchange服务器
    2:Oracle体系结构(物理结构)
  • 原文地址:https://www.cnblogs.com/taoHongFei/p/8798024.html
Copyright © 2011-2022 走看看