zoukankan      html  css  js  c++  java
  • 爬虫部署-2,基于Docker的Scrapy+Scrapyd+Scrapydweb部署

    ####

    scrapy对接docker的思路,

    ###

    涉及到四个部分,

    Scrapy

    Scrapyd

    Scrapydweb

    Docker

    ####

    首先你思考一下,如果只有Scrapyd怎么docker部署?

    1、把Scrapyd独立成为一个项目

    1.1 编写Scrapyd的配置文件

    新建一个scrapyd.conf文件,填写配置内容,默认使用官网上的就可以。

    1.2 新建一个requirements

    当前目录下有两个文件,一个是scrapyd的配置文件,另一个是pip下载模块的文件。

    1.3 Dockerfile文件

    FROM python:3.6
    ADD . /code
    WORKDIR /code
    COPY ./scrapyd.conf /etc/scrapyd/
    EXPOSE 6800
    RUN pip3 install -r requirements.txt
    CMD scrapyd

    这个构建成为一个容器

    然后启动容器,这个是可以直接访问到的,我们打开 http://localhost:6800 就能看到Scrapyd服务。

    ######

    然后部署scrapydweb

    2,把scrapydweb独立成为一个项目,

    FROM python:3.6
    ADD . /scrapydweb
    WORKDIR /scrapydweb
    COPY ./ .
    EXPOSE 5000
    RUN pip3 install -r requirements.txt
    CMD scrapydweb

    ###

    最后是容器编排的问题

    docker-compose.yaml

    前面两步只要能运行成功了,这一步就简单了,

    ####

    #####

  • 相关阅读:
    【转】JVM 堆内存设置原理
    【转】Java八种基本数据类型的比较及其相互转化
    8月12日
    并发与竞争
    高通gpio配置输出
    创建一个字符设备的基本流程
    4月2号 字符设备驱动实验
    3.30学习遇到卡死点
    断言函数的用法
    12.02 下午
  • 原文地址:https://www.cnblogs.com/andy0816/p/15391630.html
Copyright © 2011-2022 走看看