zoukankan      html  css  js  c++  java
  • centos7+docker 安装和部署crawlab分布式爬虫平台,并使用docker-compose管理docker

    1.先决条件centos7+docker最新版本

     sudo yum updat
    

    2.配置一下镜像源,创建/etc/docker/daemon.conf文件,在其中输入如下内容

    {
     "registry-mirrors": ["https://registry.docker-cn.com"]
    }
    

    3.启动docker命令:

    systemctl start docker 
    

    重启docker服务:

    service docker restart
    

    4.查看和下载Crawlab的镜像命令 :

    docker search crawlab                   #(查找Crawlab镜像)
    
    docker pull tikazyq/crawlab:latest       #(下载Crawlab镜像)
    

    5.创建docker组:

    sudo groupadd docker    (删除docker这个用户:userdel -r docker)
    

    6.centos7查看所有用户:

    cut -d : -f 1 /etc/group
    

    7.将您的用户添加到该docker用户组,命令:

    sudo usermod -aG docker 用户名
    

    8.查看“docker”组下的所有用户,命令:

      grep 'docker' /etc/group
    

    9.Docker Compose安装

    sudo curl -L "https://github.com/docker/compose/releases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
    

    稍等片刻,有点慢!!!!

    赋权:

    sudo chmod +x /usr/local/bin/docker-compose
    

    查看版本:

    docker-compose --version
    

    10.查找docker-compose.yml文件位置:

    find / -name "docker-compose.yml*"
    

    (会出现find: ‘/run/user/1000/gvfs’: 权限不够,执行:umount /run/user/1000/gvfsrm -rf /run/user/1000/gvfs,再执行就不会出错了!!!

    11.图中:

    /var/lib/docker/overlay2/50df4de9bf340501cade27650953ad983948b10e13bbe931710ef090ab1a4602/diff/app/docker-compose.yml-----------是我的路径
    

    cd 到app目录就可以了

    vim docker-compose.yml   #编辑
    

    注意: 新版镜像的CRAWLAB_API_ADDRESS是这样的: CRAWLAB_API_ADDRESS: "http://192.168.157.128:8000"

    12.启动 Crawlab

    ​ cd 进入到docker-compose.yml 所在文件目录下

    ​ 才能运行:docker-compose up 集群启动容器,否则找不到文件

    查看woker容器日志命令:docker-compose logs worker

    正常会启动四个容器:master、woker、redis、mongo

    第一次次启动会下载安装并配置节点和数据库(redis 和mongodb)

    img

    13.Crawlab

    浏览器访问 :http://ip:8080 用户名密码是 admin/admin

    第一次访问没问题,但是第二次启动会报各种错,博主正在研究中-----持续更新中!!!

    我命由我,不由天
  • 相关阅读:
    linux下apache(httpd)安装部署
    基于redis分布式缓存实现(新浪微博案例)
    python--字典
    django(四)
    django(三)
    django(二)
    django(一)
    053(八十)
    053(七十九)
    053(七十八)
  • 原文地址:https://www.cnblogs.com/duhy/p/12028408.html
Copyright © 2011-2022 走看看