zoukankan      html  css  js  c++  java
  • 分布式爬虫管理框架Gerapy安装及部署流程

    Gerapy 是一款国人开发的爬虫管理软件(有中文界面)

      是一个管理爬虫项目的可视化工具,把项目部署到管理的操作全部变为交互式,实现批量部署,更方便控制、管理、实时查看结果。

    gerapy和scrapyd的关系就是,我们可以通过gerapy中配置scrapyd后,不使用命令,直接通过图形化界面开启爬虫。

    》》安装

    pip install gerapy

    》》配置环境变量

    C:UserswangjialuAppDataLocalProgramsPythonPython37Scripts

    》》cmd 初始化工作目录

    >gerapy init    

    》》进入该目录初始数据库,会生成一个SQLite数据库,数据库保存主机的配置信息和部署版本。

    >cd gerapy
    >gerapy migrate 

    》》启动服务  http://127.0.0.1:8000  访问界面

    >gerapy runserver  

    》》部署项目

    我们将Scrapy项目放在gerapy/project目录下。

    添加Scrapy远程服务,我们的scrapy项目发布到Scrapyd上面。

    或者

    打开你的爬虫项目根目录 配置scrapy.cfg  

    
    
    [deploy:abckg]
    url = http://localhost:6800/
    project = Abckg

    #url 把#去掉

    输入命令:scrapyd-deploy <target> -p <projectname>(target:spider.cfg中[deploy:NAME])(projectname:spider.cfg中project = XXX)

    这样就部署成功了!!!

    如要转载 麻烦备注原文出处!!

  • 相关阅读:
    [C]recursion递归计算阶乘
    [Python]reduce function & lambda function & factorial
    [C/JAVA] ceil, floor
    OC项目调用C++
    Xcode 代码注释
    百度云加速器
    UITableView和MJReFresh结合使用问题记录
    OC 类的load方法
    JLRoutes笔记
    推送通知项目记录
  • 原文地址:https://www.cnblogs.com/Wang-jialu/p/11132022.html
Copyright © 2011-2022 走看看