使用Ansible快速构建kubernetes1.10.4HA高可用集群

本文构建kubernetes1.10.4HA高可用集群使用Ansible脚本安装K8S集群，介绍组件交互原理，方便直接，不受国内网络环境影响

开源地址： https://github.com/gjmzj/kubeasz

部署过程如下：

　1、准备设备

　　master01主机作为部署节点，master01、master02作为集群中master节点，node01、node02作为集群中node节点，设备全部安装centos7系统

　2、前期准备

　　需要安装python、epel源、关闭防火墙、selinux等

　3、准备好部署节点的环境

　　在master01上安装git、ansible

[root@master01 ~]# yum install  -y  git  ansible

　　配置从master01到master01、master02、node01、node02节点免密码登录

[root@master01 ~]# ssh-keygen -t rsa -P ''
[root@master01 ~]# ssh-copy-id -i 172.16.1.151
[root@master01 ~]# ssh-copy-id -i 172.16.1.152
[root@master01 ~]# ssh-copy-id -i 172.16.1.153
[root@master01 ~]# ssh-copy-id -i 172.16.1.154

　　主备ansible脚本，下载地址：https://pan.baidu.com/s/1-4GwQW0Yy9swCcxv_aanKw

　　下载下来后，将解压内容放到 /etc/ansible/

[root@master01 ansible]# ls
01.prepare.yml      07.cluster-addon.yml  99.clean.yml  hosts
02.etcd.yml         11.harbor.yml         ansible.cfg   manifests
03.docker.yml       20.addnode.yml        bin           pics
04.kube-master.yml  21.addmaster.yml      docs          README.md
05.kube-node.yml    22.upgrade.yml        down          roles
06.network.yml      90.setup.yml          example       tools

　　按需修改 hosts 文件，分配集群角色。注意 LB 的网卡接口信息需要跟实际机器保持一致

[root@master01 ansible]# vim  hosts 
# 部署节点：运行这份 ansible 脚本的节点
[deploy]
172.16.1.251

# etcd集群请提供如下NODE_NAME，注意etcd集群必须是1,3,5,7...奇数个节点
[etcd]
172.16.1.251 NODE_NAME=etcd1
172.16.1.252 NODE_NAME=etcd2
172.16.1.253 NODE_NAME=etcd3

[kube-master]
172.16.1.251
172.16.1.252

# 负载均衡至少两个节点，安装 haproxy+keepalived
# 如果是公有云环境请优先使用云上负载均衡，lb组留空
[lb]
172.16.1.251 LB_IF="eth0" LB_ROLE=backup  # 注意根据实际使用网卡设置 LB_IF变量
172.16.1.252 LB_IF="eth0" LB_ROLE=master

[kube-node]
172.16.1.253
172.16.1.254

# 如果启用harbor，请配置后面harbor相关参数
[harbor]
#192.168.1.8

# 预留组，后续添加master节点使用
[new-master]
#192.168.1.5

# 预留组，后续添加node节点使用
[new-node]
#192.168.1.xx

[all:vars]
# ---------集群主要参数---------------
#集群部署模式：allinone, single-master, multi-master
DEPLOY_MODE=multi-master

#集群主版本号，目前支持: v1.8, v1.9, v1.10
K8S_VER="v1.10"

# 集群 MASTER IP即 LB节点VIP地址，为区别与默认apiserver端口，设置VIP监听的服务端口8443
# 公有云上请使用云负载均衡内网地址和监听端口
MASTER_IP="172.16.1.250"
KUBE_APISERVER="https://{{ MASTER_IP }}:8443"

#TLS Bootstrapping 使用的 Token，使用 head -c 16 /dev/urandom | od -An -t x | tr -d ' ' 生成
BOOTSTRAP_TOKEN="8c8dfa79792f34d7f62c4df15acdb07a"

# 集群网络插件，目前支持calico, flannel, kube-router
CLUSTER_NETWORK="calico"

# 默认使用kube-proxy, 可选SERVICE_PROXY="IPVS" (前提是网络选择kube-router)
SERVICE_PROXY="kube-proxy"

# 服务网段 (Service CIDR），注意不要与内网已有网段冲突
SERVICE_CIDR="10.68.0.0/16"

# POD 网段 (Cluster CIDR），注意不要与内网已有网段冲突
CLUSTER_CIDR="172.20.0.0/16"

# 服务端口范围 (NodePort Range)
NODE_PORT_RANGE="20000-40000"

# kubernetes 服务 IP (预分配，一般是 SERVICE_CIDR 中第一个IP)
CLUSTER_KUBERNETES_SVC_IP="10.68.0.1"

# 集群 DNS 服务 IP (从 SERVICE_CIDR 中预分配)
CLUSTER_DNS_SVC_IP="10.68.0.2"

# 集群 DNS 域名
CLUSTER_DNS_DOMAIN="cluster.local."

# etcd 集群间通信的IP和端口, 根据etcd组成员自动生成
TMP_NODES="{% for h in groups['etcd'] %}{{ hostvars[h]['NODE_NAME'] }}=https://{{ h }}:2380,{% endfor %}"
ETCD_NODES="{{ TMP_NODES.rstrip(',') }}"

# etcd 集群服务地址列表, 根据etcd组成员自动生成
TMP_ENDPOINTS="{% for h in groups['etcd'] %}https://{{ h }}:2379,{% endfor %}"
ETCD_ENDPOINTS="{{ TMP_ENDPOINTS.rstrip(',') }}"

# 集群basic auth 使用的用户名和密码
BASIC_AUTH_USER="admin"
BASIC_AUTH_PASS="ctsi1234"

# ---------附加参数--------------------
#默认二进制文件目录
bin_dir="/opt/kube/bin"

#证书目录
ca_dir="/etc/kubernetes/ssl"

#部署目录，即 ansible 工作目录，建议不要修改
base_dir="/etc/ansible"

#私有仓库 harbor服务器 (域名或者IP)
#HARBOR_IP="192.168.1.8"
#HARBOR_DOMAIN="harbor.yourdomain.com"

　4、开始部署集群

[root@master01 ansible]# ansible all -m ping
[root@master01 ansible]# ansible-playbook 01.prepare.yml 
[root@master01 ansible]# ansible-playbook 02.etcd.yml
[root@master01 ansible]# ansible-playbook 03.docker.yml
[root@master01 ansible]# ansible-playbook 04.kube-master.yml
[root@master01 ansible]# ansible-playbook 05.kube-node.yml
[root@master01 ansible]# ansible-playbook 06.network.yml
[root@master01 ansible]# ansible-playbook 07.cluster-addon.yml　　

　5、命令环境配置

　　默认ansible 把相关命令文件都放到 /opt/kube/bin 下了，我们可以配置下环境变量，便于直接使用。

[root@master01 ansible]# vim /etc/profile
export PATH=.:/opt/kube/bin:$PATH
[root@master01 ansible]# source /etc/profile

　6、部署 dashboard

[root@master01 ~]# kubectl create -f /etc/ansible/manifests/dashboard/kubernetes-dashboard.yaml
[root@master01 ~]# kubectl create -f /etc/ansible/manifests/dashboard/ui-admin-rbac.yaml
[root@master01 ~]# kubectl create -f /etc/ansible/manifests/dashboard/ui-read-rbac.yaml
#创建访问 token （admin）
[root@master01 ~]# kubectl create -f /etc/ansible/manifests/dashboard/admin-user-sa-rbac.yaml
[root@master01 ~]# kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep admin-user | awk '{print $1}')
Name:         admin-user-token-5xkxt
Namespace:    kube-system
Labels:       <none>
Annotations:  kubernetes.io/service-account.name=admin-user
              kubernetes.io/service-account.uid=af3ff909-8f90-11e8-a9a1-000c2958364a

Type:  kubernetes.io/service-account-token

Data
====
ca.crt:     1346 bytes
namespace:  11 bytes
token:      eyJhbGciOiJSUzI1NiIsImtpZCI6IiJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJhZG1pbi11c2VyLXRva2VuLTV4a3h0Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQubmFtZSI6ImFkbWluLXVzZXIiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC51aWQiOiJhZjNmZjkwOS04ZjkwLTExZTgtYTlhMS0wMDBjMjk1ODM2NGEiLCJzdWIiOiJzeXN0ZW06c2VydmljZWFjY291bnQ6a3ViZS1zeXN0ZW06YWRtaW4tdXNlciJ9.UnM6Pxb8JsUxlZCNwAJs9skB-gqK_ACe9xnHqio9zJ6pKl1vKTPNhNDVFonjvCmvtWYced6-yIau2ZqZ64SqlhDPlRAbtioJE45xpf25TCQkj4mcwfQw36avGqx7pyVpotlfctZR2kdALSLIsf0dB25DHvlcrUuQNxuA9LxpgcYIOqIcDZMtNm6FcmNujTjM7iR7jt8Daj7g7sp9kP6MYN4PG-R-fKvkTk6bcG4P6GUJnanetOw2Im_qP8z39A58rrPcMWQulbbMTh3lW4cdad38OIeUjXdfE_N3SSqn2WnM1Zx0HEOuOnT56hsSLWA17_4X1G8peRIaZoNXYZYSJg

　7、访问dashboard

　　查看dashboard的访问地址：kubectl cluster-info

[root@master01 ~]# kubectl cluster-info
Kubernetes master is running at https://172.16.1.250:8443
CoreDNS is running at https://172.16.1.250:8443/api/v1/namespaces/kube-system/services/coredns:dns/proxy
kubernetes-dashboard is running at https://172.16.1.250:8443/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy

　　浏览器访问https://172.16.1.250:8443/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy

　　 选择 令牌 登陆，输入上面生成的 token，即可登入系统