zoukankan      html  css  js  c++  java
  • 爬虫部署-2,基于Docker的Scrapy+Scrapyd+Scrapydweb部署

    ####

    scrapy对接docker的思路,

    ###

    涉及到四个部分,

    Scrapy

    Scrapyd

    Scrapydweb

    Docker

    ####

    首先你思考一下,如果只有Scrapyd怎么docker部署?

    1、把Scrapyd独立成为一个项目

    1.1 编写Scrapyd的配置文件

    新建一个scrapyd.conf文件,填写配置内容,默认使用官网上的就可以。

    1.2 新建一个requirements

    当前目录下有两个文件,一个是scrapyd的配置文件,另一个是pip下载模块的文件。

    1.3 Dockerfile文件

    FROM python:3.6
    ADD . /code
    WORKDIR /code
    COPY ./scrapyd.conf /etc/scrapyd/
    EXPOSE 6800
    RUN pip3 install -r requirements.txt
    CMD scrapyd

    这个构建成为一个容器

    然后启动容器,这个是可以直接访问到的,我们打开 http://localhost:6800 就能看到Scrapyd服务。

    ######

    然后部署scrapydweb

    2,把scrapydweb独立成为一个项目,

    FROM python:3.6
    ADD . /scrapydweb
    WORKDIR /scrapydweb
    COPY ./ .
    EXPOSE 5000
    RUN pip3 install -r requirements.txt
    CMD scrapydweb

    ###

    最后是容器编排的问题

    docker-compose.yaml

    前面两步只要能运行成功了,这一步就简单了,

    ####

    #####

  • 相关阅读:
    4.回归类算法目标值连续型
    springcloud笔记
    5.聚类算法kmeans
    FastdFS文件系统
    ElasticSearch
    cors解决跨域
    Swagger
    miaosha2:高并发抢购方案
    关于javascript中的constructor与prototype
    eclipse布署项目到weblogic时启动两次的问题
  • 原文地址:https://www.cnblogs.com/andy0816/p/15391630.html
Copyright © 2011-2022 走看看