Docker Swarm（一）
即使有了Docker Compose，项目的部署仍然存在问题，因为Docker Compose只能把项目所有的容器部署在同一台机器上，这在生产环境下是不现实的。
Docker Compose一般只适用于开发环境，而对于生产环境下的项目部署，我们需要用到Docker Swarm。
Docker Swarm介绍
Docker Swarm是Docker官方提供的一套容器编排系统，它将一组Docker主机虚拟成一个单独的虚拟Docker主机。
架构如下：
在这里插入图片描述
swarm节点：
swarm是一系列节点的集合，而节点可以是一台裸机或者一台虚拟机。一个节点能扮演一个或者两个角色，manager或者worker。
manager
Docker Swarm集群需要至少一个manager节点，节点之间使用Raft consensus protocol进行协同工作。
通常，第一个启用docker swarm的节点将成为leader，后来加入的都是follower。当前的leader如果挂掉，
剩余的节点将重新选举出一个新的leader。每一个manager都有一个完整的当前集群状态的副本，可以保证manager的高可用。
worker
worker节点是运行实际应用服务的容器所在的地方。理论上，一个manager节点也能同时成为worker节点，但在生产环境中，
我们不建议这样做。worker节点之间，通过control plane进行通信，这种通信使用gossip协议，并且是异步的。
1
2
3
4
5
6
7
8
task、service、stack：
多个tasks组成一个service，多个services组成一个stack。
task
在Docker Swarm中，task是一个部署的最小单元，task与容器是一对一的关系。
service
swarm service是一个抽象的概念，它只是一个对运行在swarm集群上的应用服务，所期望状态的描述。
它就像一个描述了下面物品的清单列表一样：
服务名称
使用哪个镜像来创建容器
要运行多少个副本
服务的容器要连接到哪个网络上
需要映射哪些端口
stack
stack是描述一系列相关services的集合，可以通过在一个YAML文件中来定义一个stack，类似于docker-compose。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
多主机网络：
对于单主机网络，所有的容器都运行在一个docker主机上，他们之间的通信一般使用本地的bridge network即可。
而对于swarm集群，针对的是一组docker主机，需要使用docker的overlay network。
常用命令
docker swarm命令：
ca 显示根CA证书
init 初始化一个集群
join 加入集群
join-token worker 查看工作节点的token
join-token manager 查看管理节点的token
leave 离开集群
unlock 解锁集群
unlock-key 管理解锁密钥
update 更新集群
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
docker node命令：
demote 节点降级，由管理节点降级为工作节点
inspect 查看一个或多个节点的详情
ls 查看所有的节点
promote 节点升级，由工作节点升级为管理节点
ps 查看一个或多个节点中的task，默认为当前节点
rm 删除一个或多个节点
update 更新一个节点
1
2
3
4
5
6
7
8
9
10
11
12
13
14
docker service命令：
create 创建一个新的service
inspect 查看一个或多个service的详情
logs 获取service或task的日志
ls 列出所有的service
ps 列出一个或多个service的task
rm 删除一个或多个service
rollback 将更改还原为service的配置
scale 创建一个或多个service的副本
update 更新一个service
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
docker stack命令：
deploy 部署新的stack或更新现有stack
ls 列出现有stack
ps 列出stack中的tasks
rm 删除一个或多个stack
services 列出stack中的services
1
2
3
4
5
6
7
8
9
注意：以上命令大多只能在manager节点上执行。
Swarm集群创建
根据集群的高可用性要求实现奇数个节点。当有两个以上manager节点时，集群可以manager节点的故障中恢复，而无需停机。
N个manager节点的集群将最多容忍(N-1) / 2个manager节点的丢失。
下面创建一个三节点的swarm集群。
角色划分：
role ip hostname
manager 192.168.30.128 test1
worker1 192.168.30.129 test2
worker2 192.168.30.130 test3
环境准备：
# systemctl stop firewalld && systemctl disable firewalld
# sed -i 's/=enforcing/=disabled/g' /etc/selinux/config && setenforce 0
1
2
3
安装docker：
# curl http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -o /etc/yum.repos.d/docker.repo
# yum makecache fast
# yum install -y docker-ce
# systemctl start docker && systemctl enable docker
1
2
3
4
5
6
7
创建集群：
注意：swarm集群必须先在manager节点进行集群初始化，然后在worker节点上加入集群。
192.168.30.128
# docker swarm init --advertise-addr=192.168.30.128
Swarm initialized: current node (q1n9ztahdj489pltf3gl5pomj) is now a manager.
To add a worker to this swarm, run the following command:
docker swarm join --token SWMTKN-1-38ci507e4fyp92oauqvov5axo3qhti5wlm58odjz5lo2rdatyo-e2y52gxq7y40mah2nzq1b5fg9 192.168.30.128:2377
To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.
1
2
3
4
5
6
7
8
将添加worker节点的命令复制到其它非manager节点的机器执行
192.168.30.129
# docker swarm join --token SWMTKN-1-38ci507e4fyp92oauqvov5axo3qhti5wlm58odjz5lo2rdatyo-e2y52gxq7y40mah2nzq1b5fg9 192.168.30.128:2377
This node joined a swarm as a worker.
1
2
192.168.30.130
# docker swarm join --token SWMTKN-1-38ci507e4fyp92oauqvov5axo3qhti5wlm58odjz5lo2rdatyo-e2y52gxq7y40mah2nzq1b5fg9 192.168.30.128:2377
This node joined a swarm as a worker.
1
2
查看集群节点：
192.168.30.128
# docker node ls
ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION
q1n9ztahdj489pltf3gl5pomj * test1 Ready Active Leader 19.03.3
0qyp2ut4m3pggag1yq7f3jn31 test2 Ready Active 19.03.4
cbi8detm7t9v8w5ntyzid0cvj test3 Ready Active 19.03.4
1
2
3
4
5
可以看到，一个三节点的swarm集群创建完毕，test1（192.168.30.128）为manager节点。
Docker Service
在Docker Swarm集群中，我们可以通过docker service命令创建一些service，每个service都包含多个tasks，每个task对应一个容器。
创建service：
192.168.30.128
# docker service create --name busybox busybox:latest sh -c "while true; do sleep 3600; done"
y8o6jogs0iyp4qewb5okgzb37
overall progress: 1 out of 1 tasks
1/1: running
verify: Service converged
# docker service ls
ID NAME MODE REPLICAS IMAGE PORTS
y8o6jogs0iyp busybox replicated 1/1 busybox:latest
# docker service ps busybox
ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTS
mavy3blpmzvz busybox.1 busybox:latest test2 Running Running about a minute ago
1
2
3
4
5
6
7
8
9
10
11
12
13
14
可以看到，该service的task运行在test2（192.168.30.129）上
192.168.30.129
# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
3dd48d9541ca busybox:latest "sh -c 'while true; …" 2 minutes ago Up 2 minutes busybox.1.mavy3blpmzvzka1ks1ebuz3s4
1
2
3
水平扩展：
当前busybox这个service的task只有1个，扩展为5个。
192.168.30.128
# docker service scale busybox=5
busybox scaled to 5
overall progress: 5 out of 5 tasks
1/5: running
2/5: running
3/5: running
4/5: running
5/5: running
verify: Service converged
# docker service ls
ID NAME MODE REPLICAS IMAGE PORTS
y8o6jogs0iyp busybox replicated 5/5 busybox:latest
# docker service ps busybox
ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTS
mavy3blpmzvz busybox.1 busybox:latest test2 Running Running 4 minutes ago
gxg5gt2j5a1v busybox.2 busybox:latest test1 Running Running 20 seconds ago
okge105yuzb8 busybox.3 busybox:latest test2 Running Running 25 seconds ago
b86rr94bbotj busybox.4 busybox:latest test3 Running Running 22 seconds ago
8zogu5kacnpw busybox.5 busybox:latest test1 Running Running 20 seconds ago
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
可以看到，该service的task分别运行在集群的3个节点上。
故障恢复：
当某个task对应的容器挂掉时，会自动在任一节点启动该task对应的容器。
192.168.30.128
# docker rm -f 7d013a7eb685
7d013a7eb685
# docker service ps busybox
ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTS
mavy3blpmzvz busybox.1 busybox:latest test2 Running Running 11 minutes ago
jewllc9gywpa busybox.2 busybox:latest test3 Ready Ready 3 seconds ago
gxg5gt2j5a1v \_ busybox.2 busybox:latest test1 Shutdown Failed 3 seconds ago "task: non-zero exit (137)"
okge105yuzb8 busybox.3 busybox:latest test2 Running Running 7 minutes ago
b86rr94bbotj busybox.4 busybox:latest test3 Running Running 7 minutes ago
8zogu5kacnpw busybox.5 busybox:latest test1 Running Running 7 minutes ago
# docker service ls
ID NAME MODE REPLICAS IMAGE PORTS
y8o6jogs0iyp busybox replicated 5/5 busybox:latest
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
可以看到，test1（192.168.30.128）上强制删除的容器在test3（192.168.30.130）上重新启动。
192.168.30.130
# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
05efd68e06c5 busybox:latest "sh -c 'while true; …" 2 minutes ago Up About a minute busybox.2.jewllc9gywpaude65rmc87wka
629fe2d2b396 busybox:latest "sh -c 'while true; …" 9 minutes ago Up 9 minutes busybox.4.b86rr94bbotj1fhyk7owwt2tl
1
2
3
4
故障恢复可以保证我们的service是稳定有效的。
删除service：
192.168.30.128
# docker service ls
ID NAME MODE REPLICAS IMAGE PORTS
y8o6jogs0iyp busybox replicated 5/5 busybox:latest
# docker service rm busybox
busybox
# docker service ls
ID NAME MODE REPLICAS IMAGE PORTS
# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
1
2
3
4
5
6
7
8
9
10
11
12
192.168.30.129
# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
1
2
192.168.30.130
# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
1
2
当删除service后，该service对应的task容器也会停止运行并删除。
Docker Service 示例
如果在swarm集群中部署项目，首先需要创建的是overlay network，因为项目中关联的services需要通过overlay network通信。
在swarm集群中创建overlay network，不再需要外部的分布式存储（如etcd），swarm集群会自动完成overlay network的同步工作。
下面使用Docker Service部署wordpress项目，该项目包含两个service：wordpress和mysql。
创建overlay network：
192.168.30.128
# docker network ls
NETWORK ID NAME DRIVER SCOPE
5ee1b278fd34 bridge bridge local
faf258f504b0 docker_gwbridge bridge local
535808221d2e host host local
5yetwtzg2b1x ingress overlay swarm
2addad8d8857 none null local
# docker network create -d overlay test
exyl7ksbeavt00c5ot0k66s2w
# docker network ls
NETWORK ID NAME DRIVER SCOPE
5ee1b278fd34 bridge bridge local
faf258f504b0 docker_gwbridge bridge local
535808221d2e host host local
5yetwtzg2b1x ingress overlay swarm
2addad8d8857 none null local
exyl7ksbeavt test overlay swarm
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
创建mysql service：
192.168.30.128
# docker service create --name mysql --network test -e MYSQL_ROOT_PASSWORD=123456789 -e MYSQL_DATABASE=wordpress --mount type=volume,source=mysql_data,destination=/var/lib/mysql mysql:5.7
3bjl5kse0letilvkx0kltnfm9
overall progress: 1 out of 1 tasks
1/1: running [==================================================>]
verify: Service converged
1
2
3
4
5
6
# docker service ls
ID NAME MODE REPLICAS IMAGE PORTS
3bjl5kse0let mysql replicated 1/1 mysql:5.7
# docker service ps mysql
ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTS
d8ofaptycyzs mysql.1 mysql:5.7 test3 Running Running about a minute ago
1
2
3
4
5
6
7
创建wordpress service：
192.168.30.128
# docker service create --name wordpress --network test -p 80:80 -e WORDPRESS_DB_PASSWORD=123456789 -e WORDPRESS_DB_HOST=mysql wordpress
x96xdiazi4iupgvwl5oza4sx3
overall progress: 1 out of 1 tasks
1/1: running [==================================================>]
verify: Service converged
1
2
3
4
5
6
# docker service ls
ID NAME MODE REPLICAS IMAGE PORTS
3bjl5kse0let mysql replicated 1/1 mysql:5.7
x96xdiazi4iu wordpress replicated 1/1 wordpress:latest *:80->80/tcp
# docker service ps wordpress
ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTS
8b9g1upsll15 wordpress.1 wordpress:latest test1 Running Running 36 seconds ago
1
2
3
4
5
6
7
8
可以看到，mysql这个service的task容器运行在test3（192.168.30.130）上，而wordpress这个服务的task容器运行在test1（192.168.30.128）上。
查看容器：
192.168.30.128
# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
e189db13cbe3 wordpress:latest "docker-entrypoint.s…" About a minute ago Up About a minute 80/tcp wordpress.1.8b9g1upsll15m8crlhkebgc64
1
2
3
192.168.30.130
# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
6be947ccfe36 mysql:5.7 "docker-entrypoint.s…" 3 minutes ago Up 3 minutes 3306/tcp, 33060/tcp mysql.1.d8ofaptycyzs01ckt6k2zhxd7
1
2
3
浏览器访问：
打开浏览器访问192.168.30.128，
在这里插入图片描述
填写信息后直接登录，可以看看wordpress站点
在这里插入图片描述
在这里插入图片描述
通过overlay network，在swarm集群中使用docker service部署wordpress项目成功。
Routing Mesh
浏览器访问：
继续使用浏览器，分别访问192.168.30.129和192.168.30.130，
在这里插入图片描述
在这里插入图片描述
这是为什么呢？这就是Routing Mesh的作用。如果service有绑定端口，则该service可通过任意swarm节点的相应端口访问。
示例：
创建whoami service
# docker service create --name whoami --network test -p 8000:8000 jwilder/whoami
ckgqv2okq5wdscgv0pihk2hwr
overall progress: 1 out of 1 tasks
1/1: running [==================================================>]
verify: Service converged
# docker service scale whoami=3
whoami scaled to 3
overall progress: 3 out of 3 tasks
1/3: running [==================================================>]
2/3: running [==================================================>]
3/3: running [==================================================>]
verify: Service converged
1
2
3
4
5
6
7
8
9
10
11
12
13
14
# docker service ls
ID NAME MODE REPLICAS IMAGE PORTS
3bjl5kse0let mysql replicated 1/1 mysql:5.7
ckgqv2okq5wd whoami replicated 3/3 jwilder/whoami:latest *:8000->8000/tcp
x96xdiazi4iu wordpress replicated 1/1 wordpress:latest *:80->80/tcp
# docker service ps whoami
ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTS
ugndxn4ojkw4 whoami.1 jwilder/whoami:latest test2 Running Running 2 minutes ago
iv3cu975hpr4 whoami.2 jwilder/whoami:latest test1 Running Running about a minute ago
qc5kp773iof7 whoami.3 jwilder/whoami:latest test3 Running Running about a minute ago
1
2
3
4
5
6
7
8
9
10
11
创建busybox service
# docker service create --name busybox --network test busybox sh -c "while true; do sleep 3600; done"
bxy6hzvrfoxy28yyagzvkfqmf
overall progress: 1 out of 1 tasks
1/1: running [==================================================>]
verify: Service converged
# docker service ps busybox
ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTS
rewjvfn34qq9 busybox.1 busybox:latest test2 Running Running 23 seconds ago
1
2
3
4
5
6
7
8
9
10
192.168.30.129
# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
933d4e916cbd busybox:latest "sh -c 'while true; …" About a minute ago Up About a minute busybox.1.rewjvfn34qq9tbrn2dty4e6vf
7b28da1c9491 jwilder/whoami:latest "/app/http" 5 minutes ago Up 5 minutes 8000/tcp whoami.1.ugndxn4ojkw42u6y22rfdjlii
# docker exec -it busybox.1.rewjvfn34qq9tbrn2dty4e6vf sh
/ # ping whoami
PING whoami (10.0.0.17): 56 data bytes
64 bytes from 10.0.0.17: seq=0 ttl=64 time=0.192 ms
64 bytes from 10.0.0.17: seq=1 ttl=64 time=0.353 ms
64 bytes from 10.0.0.17: seq=2 ttl=64 time=0.144 ms
64 bytes from 10.0.0.17: seq=3 ttl=64 time=0.144 ms
^C
--- whoami ping statistics ---
4 packets transmitted, 4 packets received, 0% packet loss
round-trip min/avg/max = 0.144/0.208/0.353 ms
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
前面启动了3个whoami的task容器，为什么在busybox中ping whoami时，始终只返回一个ip呢？
/ # nslookup whoami
Server: 127.0.0.11
Address: 127.0.0.11:53
Non-authoritative answer:
*** Can't find whoami: No answer
/ # nslookup tasks.whoami 127.0.0.11
Server: 127.0.0.11
Address: 127.0.0.11:53
Non-authoritative answer:
Name: tasks.whoami
Address: 10.0.0.18
Name: tasks.whoami
Address: 10.0.0.21
Name: tasks.whoami
Address: 10.0.0.20
*** Can't find tasks.whoami: No answer
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
这回看到3个ip：10.0.0.18、10.0.0.21、10.0.0.20，分别在进入各个whoami的容器内查看ip可知，这3个ip就是whoami容器的真实ip，而我们ping whoami得到的ip10.0.0.17是一个虚拟ip（vip）。
对于一个service来说，它的vip一般是不变的，在水平扩展时发生变化的是vip后面的task容器ip。
任选一个节点，
# curl 127.0.0.1:8000
I'm ae9da507e9f7
# curl 127.0.0.1:8000
I'm 5e4782fd9dee
# curl 127.0.0.1:8000
I'm 7b28da1c9491
# curl 127.0.0.1:8000
I'm ae9da507e9f7
# curl 127.0.0.1:8000
I'm 5e4782fd9dee
# curl 127.0.0.1:8000
I'm 7b28da1c9491
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
通过连续curl返回的内容可以看到，每次返回的结果是不同的hostname，并且是轮询返回，这就形成了负载均衡。
其实routing mesh内部根据LVS（Linux Virtual Server）来实现的，通过vip达到负载均衡的目的。
routing mesh的两种体现：
Internal
容器和容器之间的访问通过overlay网络（通过VIP）
Ingress
如果service有绑定端口，则此service可通过任意swarm节点的相应端口访问
1
2
3
4
5
routing mesh的作用：
外部访问的负载均衡
服务端口被暴露到各个swarm节点
内部通过LVS进行负载均衡
————————————————
版权声明：本文为CSDN博主「最爱喝酸奶」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/miss1181248983/article/details/102747741