Docker环境下搭建DNS LVS(keepAlived) OpenResty服务器简易集群

现在上网已经成为每个人必备的技能，打开浏览器，输入网址，回车，简单的几步就能浏览到漂亮的网页，那从请求发出到返回漂亮的页面是怎么做到的呢，我将从公司中一般的分层架构角度考虑搭建一个简易集群来实现。目标是做到在浏览中输入网址，打开网页，而且每一层还具有高可用，只要一层中有一台主机是存活的，整个服务都将可用。

环境

• Centos 7
• Docker

架构图

Docker

安装docker

最开始我是在MacOs系统上安装docker(下载地址)，但是macOS无法直接访问docker容器的IP(官网上也有说明，有知道的朋友麻烦告知)，最终在Centos7系统安装docker,我安装的是CE版本(下载及安装说明地址).

安装docker-compose

• 使用curl下载
• 将下载的文件权限修改为可执行权限
• 将docker-compose移入/usr/bin目录，以便在终端直接执行

具体参考官方安装文档

编写 dockerfile

Docker下载完成之后，编写dockerfile文件，下载centos7镜像，此处要注意，由于以后我们要使用systemctl,所以需要特殊处理，如下:

FROM centos:7
ENV container docker
RUN (cd /lib/systemd/system/sysinit.target.wants/; for i in *; do [ $i == 
systemd-tmpfiles-setup.service ] || rm -f $i; done); 
rm -f /lib/systemd/system/multi-user.target.wants/*;
rm -f /etc/systemd/system/*.wants/*;
rm -f /lib/systemd/system/local-fs.target.wants/*; 
rm -f /lib/systemd/system/sockets.target.wants/*udev*; 
rm -f /lib/systemd/system/sockets.target.wants/*initctl*; 
rm -f /lib/systemd/system/basic.target.wants/*;
rm -f /lib/systemd/system/anaconda.target.wants/*;
VOLUME [ "/sys/fs/cgroup" ]
CMD ["/usr/sbin/init"]

具体情况请参考官方文档说明

DNS

我计划安装两台DNS服务器，一台Master,一台Slave，Master配置IP与域名的正向与反向对应关系，Slave进行同步。

编写docker-compose.yml

假定上面下载的centos image的名称为centos,标签为latest

version: "3"
services:
    dns_master:
      image: centos:latest
      container_name: dns_master
      hostname: dns_master
      privileged: true
      dns: 192.168.254.10
      networks:
        br0:
         ipv4_address: 192.168.254.10
dns_slave:
      image: centos:latest
      container_name: dns_slave
      hostname: dns_slave
      privileged: true
      dns:
        - 192.168.254.10
        - 192.168.254.11
      networks:
        br0:
         ipv4_address: 192.168.254.11
networks:
  br0:
    driver: bridge
     ipam:
       driver: default
       config:
         -
         subnet: 192.168.254.0/24

从docker-compose.yml文件可知我选择了bridge桥接网络模式，并为dns master和dns slave分别分配了ip.
在docker-compose.yml文件所在目录运行 docker-compose up 命令，创建名称分别为dns_master和dns_slave的容器。

配置DNS Master服务器

1.我们进入dns_master容器

docker exec -it dns_master /bin/bash

2.安装bind9 dns package

yum install bind bind-utils -y

3.修改配置文件named.conf

vim  /etc/named.conf

注意以双星号(**)包围的内容,只是为了强调，实际配置时应去掉

options {
        listen-on port 53 { 127.0.0.1;  **192.168.254.10;** };  //Master Dns Ip
        listen-on-v6 port 53 { ::1; };
        directory       "/var/named";
        dump-file       "/var/named/data/cache_dump.db";
        statistics-file "/var/named/data/named_stats.txt";
        memstatistics-file "/var/named/data/named_mem_stats.txt";
        recursing-file  "/var/named/data/named.recursing";
        secroots-file   "/var/named/data/named.secroots";
        allow-query     { localhost; **192.168.254.0/24;** }; // IP Ranges
        allow-transfer { localhost; **192.168.254.11;**};   // Slave Ip
......
....
zone "." IN {
        type hint;
        file "named.ca";
};
**
zone "elong.com" IN {
        type master;
        file "forward.yanggy"; // 正向解析文件
        allow-update { none; };
};

zone "254.168.192.in-addr.arpa" IN {
        type master;
        file "reverse.yanggy"; // 反向解析文件
        allow-update { none;};
};
**
include "/etc/named.rfc1912.zones";
include "/etc/named.root.key";

3. 配置正向解析文件forward.yanggy

vim /var/named/forward.yanggy

$TTL  86400
@ IN SOA  masterdns.yanggy.com. root.yanggy.com. (
    2019011201  ;Serial
    3600        ;Refresh
    1800        ;Retry
    64800       ;Expire
    86400       ;Minimum TTL
)
@       IN NS   masterdns.yanggy.com.
@       IN NS   slavedns.yanggy.com.
@       IN A    192.168.254.10
@       IN A    192.168.254.11
masterdns       IN A    192.168.254.10
slavedns        IN A    192.168.254.11

4.配置反向解析文件

vim /var/named/reverse.yanggy

$TTL 86400
@   IN  SOA     masterdns.yanggy.com. root.yanggy.com. (
        2019011301  ;Serial
        3600        ;Refresh
        1800        ;Retry
        604800      ;Expire
        86400       ;Minimum TTL
)
@       IN  NS          masterdns.yanggy.com.
@       IN  NS          slavedns.yanggy.com.
@       IN  PTR         yanggy.com.
masterdns       IN  A   192.168.254.10
slavedns    IN  A   192.168.254.11
10     IN  PTR         masterdns.yanggy.com.
11     IN  PTR         slavedns.yanggy.com.

5.检查配置文件的正确性

named-checkconf /etc/named.conf
named-checkzone yanggy.com  /var/named/forward.yanggy
named-checkzone yanggy.com  /var/named/reverse.yanggy

第一条命令如果没错误，什么都不会输出，后面两条命令如果没错误，则输出内容包含OK.

6.启动named服务

systemctl enable named
systemctl start named

7.配置相关文件所属用户和组

chgrp named -R /var/named
chown -v root:named /etc/named.conf
restorecon -rv /var/named
restorecon /etc/named.conf

8.安装配置完成，开始测试

dig masterdns.yanggy.com

; <<>> DiG 9.9.4-RedHat-9.9.4-72.el7 <<>> masterdns.yanggy.com
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 65011
;; flags: qr aa rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 2, ADDITIONAL: 2

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
;; QUESTION SECTION:
;masterdns.yanggy.com.           IN      A

;; ANSWER SECTION:
masterdns.yanggy.com.    86400   IN      A       192.168.254.10

;; AUTHORITY SECTION:
yanggy.com.              86400   IN      NS      masterdns.yanggy.com.
yanggy.com.              86400   IN      NS      slavedns.yanggy.com.

;; ADDITIONAL SECTION:
slavedns.yanggy.com.     86400   IN      A       192.168.254.11

;; Query time: 19 msec
;; SERVER: 127.0.0.11#53(127.0.0.11)
;; WHEN: Mon Jan 14 09:56:22 UTC 2019
;; MSG SIZE  rcvd: 117

9. 退出容器后，将此容器保存为image:dns_image，以后dns_master就用此image

docker commit dns_master dns_master

配置DNS Slave服务器

1.进入容器和安装bind。

yum install bind bind-utils -y

2.配置named.conf

options {
        listen-on port 53 { 127.0.0.1; 192.168.254.11;};
        listen-on-v6 port 53 { ::1; };
        directory       "/var/named";
        dump-file       "/var/named/data/cache_dump.db";
        statistics-file "/var/named/data/named_stats.txt";
        memstatistics-file "/var/named/data/named_mem_stats.txt";
        recursing-file  "/var/named/data/named.recursing";
        secroots-file   "/var/named/data/named.secroots";
        allow-query     { localhost;192.168.254.0/24;};
....
....
zone "yanggy.com" IN {
        type slave;
        file "slaves/yanggy.fwd";
        masters {192.168.254.10;};
};

zone "254.168.192.in-addr.arpa" IN {
        type slave;
        file "slaves/yanggy.rev";
        masters {192.168.254.10;};
};

include "/etc/named.rfc1912.zones";
include "/etc/named.root.key";

3.启动dns服务

systemctl enable named
systemctl start named

4.启动成功后，就会在目录/var/named/slaves/下出现yagnggy.fwd和yanggy.rev，不用手动配置

5.配置相关文件的所属用户和用户组

chgrp named -R /var/named
chown -v root:named /etc/named.conf
restorecon -rv /var/named
restorecon /etc/named.conf

6.配置完后，也可照上面方法测试，看是否正常。
7.退出窗器后，将此容器保存为image:dns_slave，以后dns_slave就用此image

LVS+KeepAlived

1.在dns的docker-compose.yum添加如下内容,创建lvs和openresty容器

lvs01:
      image: centos:latest
      container_name: lvs01
      hostname: lvs01
      privileged: true
      dns:
         - 192.168.254.10
          - 192.168.254.11
      volumes:
        - /home/yanggy/docker/lvs01/:/home/yanggy/
        - /home/yanggy/docker/lvs01/etc/:/etc/keepalived/
      networks:
        br0:
         ipv4_address: 192.168.254.13
    lvs02:
      image: centos:latest
      container_name: lvs02
      hostname: lvs02
      privileged: true
      dns:
        - 192.168.254.10
        - 192.168.254.11
      volumes:
        - /home/yanggy/docker/lvs02/:/home/yanggy/
        - /home/yanggy/docker/lvs02/etc/:/etc/keepalived/
      networks:
        br0:
         ipv4_address: 192.168.254.14
resty01:
      image: centos:latest
      container_name: resty01
      hostname: resty01
      privileged: true
      expose:
        - "80"
      dns:
        - 192.168.254.10
        - 192.168.254.11
      volumes:
        - /home/yanggy/docker/web/web01/:/home/yanggy/
      networks:
        br0:
         ipv4_address: 192.168.254.15
    resty02:
      image: centos:latest
      container_name: web02
      hostname: web02
      privileged: true
      expose:
        - "80"
      dns:
        - 192.168.254.10
        - 192.168.254.11
      volumes:
        - /home/yanggy/docker/web/web02/:/home/yanggy/
      networks:
        br0:
         ipv4_address: 192.168.254.16

2.创建lvs01和lvs02容器

docker-compose up

3.进入lvs01容器中，安装ipvsadm和keepalived

yum install ipvsadm -y
yum install keepalived -y

4.配置keepalived

$ vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {
   router_id LVS_01 #表示运行keepalived服务器的一个标识。
}

vrrp_instance VI_1 {
    state MASTER  #指定keepalived的角色，MASTER表示此主机是主服务器，BACKUP表示此主机是备用服务器
    interface eth0   #指定HA监测的网卡
    virtual_router_id 51 #虚拟路由标识，这个标识是一个数字，同一个vrrp实例使用唯一的标识。即同一vrrp_instance下，MASTER和BACKUP必须是一致的
    priority 110  #定义优先级，数字越大，优先级越高，在同一个vrrp_instance下，MASTER的优先级必须大于BACKUP的优先级
    advert_int 1 #设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒
    authentication {        #设置验证类型和密码
        auth_type PASS  #设置验证类型，主要有PASS和AH两种
        auth_pass 1111   #设置验证密码，在同一个vrrp_instance下，MASTER与BACKUP必须使用相同的密码才能正常通信
    }
    virtual_ipaddress {  #设置虚拟IP地址，可以设置多个虚拟IP地址，每行一个
        192.168.254.100
    }
}

virtual_server 192.168.254.100 80 {
    delay_loop 6                #设置运行情况检查时间，单位是秒
    lb_algo rr                   #设置负载调度算法，这里设置为rr，即轮询算法
    lb_kind DR                  #设置LVS实现负载均衡的机制，有NAT、TUN、DR三个模式可选
    persistence_timeout 0      #会话保持时间，单位是秒。这个选项对动态网页是非常有用的，为集群系统中的session共享提供了一个很好的解决方案。
                                  #有了这个会话保持功能，用户的请求会被一直分发到某个服务节点，直到超过这个会话的保持时间。
                                  #需要注意的是，这个会话保持时间是最大无响应超时时间，也就是说，用户在操作动态页面时，如果50秒内没有执行任何操作
                                 #那么接下来的操作会被分发到另外的节点，但是如果用户一直在操作动态页面，则不受50秒的时间限制
    protocol TCP     #指定转发协议类型，有TCP和UDP两种

    real_server 192.168.254.15 80 {
        weight 1                  #配置服务节点的权值，权值大小用数字表示，数字越大，权值越高，设置权值大小可以为不同性能的服务器
                                  #分配不同的负载，可以为性能高的服务器设置较高的权值，而为性能较低的服务器设置相对较低的权值，这样才能合理地利用和分配系统资源
        TCP_CHECK {
            connect_port 80
            connect_timeout 3       #表示3秒无响应超时
            nb_get_retry 3          #表示重试次数
            delay_before_retry 3   #表示重试间隔
        }
    }
    real_server 192.168.254.16 80 {
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

从上面的配置可以看到真实的服务器(RS)地址是192.168.254.15和192.168.254.16.

另一台LVS容器也是如此配置，不过需要修改router_id 为LVS_02,state为BACKUP，priority设置的比MASTER低一点，比如100.

在两台lvs上分别执行如下命令，启动keepalived

systemctl enable keepalived
systemctl start keepalived

5.登录到上面两台RS容器上，编写如下脚本,假设名称为rs.sh
为lo:0绑定VIP地址、抑制ARP广播

#!/bin/bash
ifconfig lo:0 192.168.254.100 broadcast 192.168.254.100 netmask 255.255.255.255 up
route add -host 192.168.254.100 dev lo:0
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p &>/dev/null

脚本编写完毕后，将脚本设置成可执行，然后运行。使用ifconfig命令检查配置结果 .

6.登录到lvs
使用ipvsadm命令查看映射状态(要想得到下图，还需要在192.168.254.15和192.168.254.16容器中安装openresty并启动,见下面openresty部分)

ipvsadm -Ln

7.测试keepalived监测状态
将192.168.254.16:80服务关闭

docker stop web02

再次使用ipvsadm查看状态,可以看见IP:192.168.254.16:80已经剔除，以后的请求都转发到192.168.254.15:80上。

8.退出容器，使用docker commit lvs01 lvs，保存为lvs镜像，修改docker-compose.yml文件中lvs01和lvs02的image值为lvs:latest.

以后启动容器resty01和resty02之后，需要手动执行一下rs.sh脚本

OpenResty

1.创建并启动resty01容器，然后进入容器中
安装就不介绍了，自行看官网上安装说明。
安装完之后，在用户的目录中执行如下命令:

mkdir ~/work
cd ~/work
mkdir logs/ conf/

然后在conf目录下新建nginx.conf配置文件，填写如下内容:

[root@centos7 docker]# vim web/resty01/work/conf/nginx.conf 

worker_processes 1;
error_log logs/error.log;
events {
  worker_connections 1024;
}

http {
   upstream web-group1 {
     server 192.168.254.17:80 weight=1;
     server 192.168.254.18:80 weight=1;
   }
  server {
   listen 80;

   location / {
     default_type text/html;
     proxy_pass http://web-group1;
    }
  }
}

192.168.254.17和192.168.254.18是上游web服务器的IP，负载均衡方法还可以配置权重或Hash方式。

退出容器，然后使用docker commit resty01 openresty.保存为openresty镜像。

2.修改docker-compose.yml，将resty01和resty02容器image属性都个性为openresty，执行docker-compose up，执行成功后进入容器resty02,此时容器resty02中已经安装了openresty，同样需要在用户Home目录下创建work、conf、logs。

resty01和resty02容器都映射了宿主机的文件系统，请看docker-compose.yml文件中配置的volumes属性，所以可以在配置resty02之前，将resty01的配置复制到resty02。

修改nginx.conf

worker_processes 1;
error_log logs/error.log;
events {
  worker_connections 1024;
}

http {
  upstream web-group2 {
   server 192.168.254.19:80 weight=1;
   server 192.168.254.20:80 weight=1;
   server 192.168.254.21:80 weight=1;
  }

  server {
   listen 80;
   server_name 192.168.254.16;
   location / {
     proxy_pass http://web-group2;
   }
  }
}

配置完openresty之后，启动nginx.

nginx  -c /home/yanggy/work/conf/nginx.conf

可以使用netstat -nltp 检查一下80端口服务是否开启
可以将nginx注册为系统服务，以便容器启动时自动运行

Web应用

1.修改docker-compose.yml,添加如下内容

    web01:
      image: centos:latest
      container_name: web01
      hostname: web01
      privileged: true
      expose:
        - "80"
      volumes:
        - /home/yanggy/docker/web/web01/conf/:/etc/httpd/conf/
        - /home/yanggy/docker/web/web01/www/:/var/www/
      networks:
        br0:
         ipv4_address: 192.168.254.17

2.创建并启动容器web01
进入容器之后，安装httpd

yum install -y httpd

3.编辑主配置文件

vim /etc/httpd/conf/httpd.conf

ServerName前的#去掉，并将服务名称个性为Web01

4.创建index.html

cd /var/www/html/
echo "<h1>Web01</h1>" > index.html

5.启动服务

systemctl enable httpd
systemctl start httpd

6.退出容器，并将容器保存为镜像web

7.向docker-compose.yml添加如下内容

    web02:
      image: web:latest
      container_name: web02
      hostname: web02
      privileged: true
      expose:
        - "80"
      volumes:
        - /home/yanggy/docker/web/web02/conf/:/etc/httpd/conf/
        - /home/yanggy/docker/web/web02/www/:/var/www/
      networks:
        br0:
         ipv4_address: 192.168.254.18
    web03:
      image: web:latest
      container_name: web03
      hostname: web03
      privileged: true
      expose:
        - "80"
      volumes:
        - /home/yanggy/docker/web/web03/conf/:/etc/httpd/conf/
        - /home/yanggy/docker/web/web03/www/:/var/www/
      networks:
        br0:
         ipv4_address: 192.168.254.19
    web04:
      image: web:latest
      container_name: web04
      hostname: web04
      privileged: true
      expose:
        - "80"
      volumes:
        - /home/yanggy/docker/web/web04/conf/:/etc/httpd/conf/
        - /home/yanggy/docker/web/web04/www/:/var/www/
      networks:
        br0:
         ipv4_address: 192.168.254.20
web05:
      image: web:latest
      container_name: web05
      hostname: web05
      privileged: true
      expose:
        - "80"
      volumes:
        - /home/yanggy/docker/web/web05/conf/:/etc/httpd/conf/
        - /home/yanggy/docker/web/web05/www/:/var/www/
      networks:
        br0:
         ipv4_address: 192.168.254.21

8.将web01在宿主机上映射的文件夹复制四份，分别命令web01,web03,web04,web05,并修改其中的httpd.conf和index.html为相应的服务器名称
9.使用docker-compose up创建web02-05容器，此时容器内就已经启动了web服务。

打通DNS和LVS

在上面LVS部分，配置了一个虚拟IP：192.168.254.100,现我将其添加到DNS服务器中，当输入域名时，能够解析到这个虚拟IP。
1.进入dns_master容器，修改正向解析配置文件

[root@dns_master /]# vim /var/named/forward.yanggy

添加正向解析www.yanggy.com->192.168.254.100，并使用了别名webserver。

$TTL  86400
@ IN SOA  masterdns.yanggy.com. root.yanggy.com. (
    2019011201  ;Serial
    3600        ;Refresh
    1800        ;Retry
    64800       ;Expire
    86400       ;Minimum TTL
)
@       IN NS   masterdns.yanggy.com.
@       IN NS   slavedns.yanggy.com.
@       IN A    192.168.254.10
@       IN A    192.168.254.11
@       IN A    192.168.254.100
masterdns       IN A    192.168.254.10
slavedns        IN A    192.168.254.11
webserver       IN A    192.168.254.100
www     CNAME   webserver

2.修改反向解析文件

vim /var/named/reverse.yanggy

192.168.254.100->webserver.yanggy.com

$TTL 86400
@   IN  SOA     masterdns.yanggy.com. root.yanggy.com. (
        2019011301  ;Serial
        3600        ;Refresh
        1800        ;Retry
        604800      ;Expire
        86400       ;Minimum TTL
)
@       IN  NS          masterdns.yanggy.com.
@       IN  NS          slavedns.yanggy.com.
@       IN  NS          webserver.yanggy.com.
@       IN  PTR         yanggy.com.
masterdns       IN  A   192.168.254.10
slavedns    IN  A   192.168.254.11
webserver    IN  A   192.168.254.100
10     IN  PTR         masterdns.yanggy.com.
11     IN  PTR         slavedns.yanggy.com.
100     IN  PTR         webserver.yanggy.com.
www     CNAME   webserver

总结

在宿主机的/etc/resolv.conf配置文件中添加DNS服务器IP

# Generated by NetworkManager
nameserver 192.168.254.10
nameserver 192.168.254.11

在浏览器中输入www.yanggy.com时，首先经DNS服务器解析成192.168.254.100，再经由keepalived转到其中一个openresty nginx服务器，然后nginx服务器再转到其上游的一个web应用服务器。
DNS和LVS都是高可用的，其中一台宕机，仍能响应浏览器请求，openresty服务器也是高可用的，只有DNS和LVS服务器可用，就会将请求分发到可用的openresty上，openresty不可用时，LVS就将其摘掉，可用时再恢复。同样，web服务器也是高可用的，openresty可以监测到其上游web应用服务器的可用状态，做到动态摘除和恢复。

完整的docker-compose.yml文件内容如下:

version: "3.7"
services:
    dns_master:
      image: dns_master:latest
      container_name: dns_master
      hostname: dns_master
      privileged: true
      dns:
        - 192.168.254.10
      volumes:
        - /home/yanggy/docker/dns/master/:/home/yanggy/
      networks:
        br0:
         ipv4_address: 192.168.254.10

    dns_slave:
      image: dns_slave:latest
      container_name: dns_slave
      hostname: dns_slave
      privileged: true
      dns:
        - 192.168.254.10
        - 192.168.254.11
      volumes:
       - /home/yanggy/docker/dns/slave/:/home/yanggy/
      networks:
        br0:
         ipv4_address: 192.168.254.11
    client:
      image: centos:latest
      container_name: client
      hostname: client
      privileged: true
      dns:
        - 192.168.254.10
        - 192.168.254.11
      volumes:
        - /home/yanggy/docker/client/:/home/yanggy/
      networks:
        br0:
         ipv4_address: 192.168.254.12
    lvs01:
      image: lvs:latest
      container_name: lvs01
      hostname: lvs01
      privileged: true
      volumes:
        - /home/yanggy/docker/lvs01/:/home/yanggy/
        - /home/yanggy/docker/lvs01/etc/:/etc/keepalived/
      networks:
        br0:
         ipv4_address: 192.168.254.13
    lvs02:
      image: lvs:latest
      container_name: lvs02
      hostname: lvs02
      privileged: true
      volumes:
        - /home/yanggy/docker/lvs02/:/home/yanggy/
        - /home/yanggy/docker/lvs02/etc/:/etc/keepalived/
      networks:
        br0:
         ipv4_address: 192.168.254.14
    resty01:
      image: openresty:latest
      container_name: resty01
      hostname: resty01
      privileged: true
      expose:
        - "80"
      volumes:
        - /home/yanggy/docker/web/resty01/:/home/yanggy/
      networks:
        br0:
         ipv4_address: 192.168.254.15
    resty02:
      image: openresty:latest
      container_name: resty02
      hostname: resty02
      privileged: true
      expose:
        - "80"
      volumes:
        - /home/yanggy/docker/web/resty02/:/home/yanggy/
      networks:
        br0:
         ipv4_address: 192.168.254.16
    web01:
      image: web:latest
      container_name: web01
      hostname: web01
      privileged: true
      expose:
        - "80"
      volumes:
        - /home/yanggy/docker/web/web01/conf/:/etc/httpd/conf/
        - /home/yanggy/docker/web/web01/www/:/var/www/
      networks:
        br0:
         ipv4_address: 192.168.254.17
    web02:
      image: web:latest
      container_name: web02
      hostname: web02
      privileged: true
      expose:
        - "80"
      volumes:
        - /home/yanggy/docker/web/web02/conf/:/etc/httpd/conf/
        - /home/yanggy/docker/web/web02/www/:/var/www/
      networks:
        br0:
         ipv4_address: 192.168.254.18
    web03:
      image: web:latest
      container_name: web03
      hostname: web03
      privileged: true
      expose:
        - "80"
      volumes:
        - /home/yanggy/docker/web/web03/conf/:/etc/httpd/conf/
        - /home/yanggy/docker/web/web03/www/:/var/www/
      networks:
        br0:
         ipv4_address: 192.168.254.19
    web04:
      image: web:latest
      container_name: web04
      hostname: web04
      privileged: true
      expose:
        - "80"
      volumes:
        - /home/yanggy/docker/web/web04/conf/:/etc/httpd/conf/
        - /home/yanggy/docker/web/web04/www/:/var/www/
      networks:
        br0:
         ipv4_address: 192.168.254.20
    web05:
      image: web:latest
      container_name: web05
      hostname: web05
      privileged: true
      expose:
        - "80"
      volumes:
        - /home/yanggy/docker/web/web05/conf/:/etc/httpd/conf/
        - /home/yanggy/docker/web/web05/www/:/var/www/
      networks:
        br0:
         ipv4_address: 192.168.254.21
networks:
  br0:
    driver: bridge
     ipam:
       driver: default
       config:
         -
         subnet: 192.168.254.0/24

演示

命令行curl访问

浏览器访问

其它的比如停止一台openresty服务器或web应用服务器，请自行验证，最终目的是看能否自动摘除和恢复。

问题

1.MacOS无法直接访问容器
官网上有说明，Mac系统中无法直接从Mac中直接通过IP访问容器

如果有知道如何访问的朋友，麻烦告知。

2.使用ipvsadm -Ln命令时，提示ip_vs模块不存在
原因可能是宿主机的linux内核不支持也可能是宿主机没加载内ip_vs模块

查看宿主机内核，一般高于3.10都可以。
uname -a

检查宿主机是否已加载ip_vs模块

lsmod | grep ip_vs

如果没出来结果，则使用modprobe命令加载，加载完后，再使用lsmod检查一下。

modprobe ip_vs

3.上面架构的问题
由于最下层Web应用是分组的，如果其中一组所有Web服务器都宕机，则需要将上游的openresty也关掉，这样lvs才不会将流量转到已经没有可用的web应用那一组。

参考网址：
https://docs.docker.com/compose/compose-file/
https://www.unixmen.com/setting-dns-server-centos-7/
https://blog.csdn.net/u012852986/article/details/52412174
http://blog.51cto.com/12227558/2096280
https://hub.docker.com/_/centos/