部署flannel网络
kubernetes 要求集群内各节点(包括 master 节点)能通过 Pod 网段互联互通。flannel 使用 vxlan 技术为各节点创建一个可以互通的 Pod 网络。
flaneel 第一次启动时，从 etcd 获取 Pod 网段信息，为本节点分配一个未使用的 /24 段地址，然后创建 flannedl.1（也可能是其它名称，如 flannel1 等） 接口。
flannel 将分配的 Pod 网段信息写入 /run/flannel/docker 文件，docker 后续使用这个文件中的环境变量设置 docker0 网桥。
下载和分发 flanneld 二进制文件
cd /root/work
wget https://github.com/coreos/flannel/releases/download/v0.10.0/flannel-v0.10.0-linux-amd64.tar.gz
tar -xzvf flannel-v0.10.0-linux-amd64.tar.gz
chmod +x flanneld mk-docker-opts.sh
scp flanneld mk-docker-opts.sh 10.0.0.10:/usr/bin/
scp flanneld mk-docker-opts.sh 10.0.0.11:/usr/bin/
scp flanneld mk-docker-opts.sh 10.0.0.12:/usr/bin/
scp flanneld mk-docker-opts.sh 10.0.0.13:/usr/bin/
scp flanneld mk-docker-opts.sh 10.0.0.14:/usr/bin/
创建 flannel 证书和私钥
flannel 从 etcd 集群存取网段分配信息，而 etcd 集群启用了双向 x509 证书认证，所以需要为 flanneld 生成证书和私钥。
创建证书签名请求：
cat > flanneld-csr.json <<EOF
{
"CN": "flanneld",
"hosts": [],
"key": {
"algo": "rsa",
"size": 2048
},
"names": [
{
"C": "CN",
"ST": "BeiJing",
"L": "BeiJing",
"O": "k8s",
"OU": "4Paradigm"
}
]
}
EOF
生成证书和私钥：
cfssl gencert -ca=/root/work/ca.pem
-ca-key=/root/work/ca-key.pem
-config=/root/work/ca-config.json
-profile=kubernetes flanneld-csr.json | cfssljson -bare flanneld
将生成的证书和私钥分发到所有节点（master 和 worker）：
mkdir -p /etc/flanneld/cert #所有节点创建
scp flanneld*.pem 10.0.0.10:/etc/flanneld/cert
scp flanneld*.pem 10.0.0.11:/etc/flanneld/cert
scp flanneld*.pem 10.0.0.12:/etc/flanneld/cert
scp flanneld*.pem 10.0.0.13:/etc/flanneld/cert
scp flanneld*.pem 10.0.0.14:/etc/flanneld/cert
scp /root/work/ca.pem 10.0.0.10:/etc/flanneld/cert
scp /root/work/ca.pem 10.0.0.11:/etc/flanneld/cert
scp /root/work/ca.pem 10.0.0.12:/etc/flanneld/cert
scp /root/work/ca.pem 10.0.0.13:/etc/flanneld/cert
scp /root/work/ca.pem 10.0.0.14:/etc/flanneld/cert
向 etcd 写入集群 Pod 网段信息，个人习惯pod使用172.17.0.0/16地址段
这一步在任意etcd节点上执行一次即可
1、里面etcd集群地址写入自己集群里的ip
2、flanneld当前版本(v0.10.0) 不支持 etcd v3，故使用 etcd v2 API 写入配置 key 和网段数据。
etcdctl --endpoints=https://10.0.0.10:2379,https://10.0.0.11:2379,https://10.0.0.12:2379
--ca-file=/etc/etcd/cert/ca.pem
--cert-file=/etc/etcd/cert/etcd.pem
--key-file=/etc/etcd/cert/etcd-key.pem
set /kubernetes/network/config '{"Network":"172.17.0.0/16","SubnetLen": 24,"Backend":{"Type": "vxlan"}}'
所有节点创建 flanneld 的systemd unit文件
1、里面etcd集群地址写入自己集群里的ip
2、网卡名称换成自己的节点ip的网卡名 workstations的vm虚机一般是ens33，esxi的vm虚机一般是ens192
cat > /usr/lib/systemd/system/flanneld.service << EOF
[Unit]
Description=Flanneld overlay address etcd agent
After=network.target
After=network-online.target
Wants=network-online.target
After=etcd.service
Before=docker.service
[Service]
Type=notify
ExecStart=/usr/bin/flanneld \
-etcd-cafile=/etc/flanneld/cert/ca.pem \
-etcd-certfile=/etc/flanneld/cert/flanneld.pem \
-etcd-keyfile=/etc/flanneld/cert/flanneld-key.pem \
-etcd-endpoints=https://10.0.0.10:2379,https://10.0.0.11:2379,https://10.0.0.12:2379 \
-etcd-prefix=/kubernetes/network \
-iface=ens33 \
-ip-masq
ExecStartPost=/usr/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/docker
Restart=always
RestartSec=5
StartLimitInterval=0
[Install]
WantedBy=multi-user.target
RequiredBy=docker.service
EOF
1. mk-docker-opts.sh 脚本将分配给 flanneld 的 Pod 子网网段信息写入 /run/flannel/docker 文件，后续 docker 启动时使用这个文件中的环境变量配置 docker0 网桥；
2. flanneld 使用系统缺省路由所在的接口与其它节点通信，对于有多个网络接口（如内网和公网）的节点，可以用 -iface 参数指定通信接口，如上面的 eth0 接口;
3. flanneld 运行时需要 root 权限；
4. -ip-masq: flanneld 为访问 Pod 网络外的流量设置 SNAT 规则，同时将传递给 Docker 的变量 --ip-masq（/run/flannel/docker 文件中）设置为 false，这样 Docker 将不再创建 SNAT 规则；
Docker 的 --ip-masq 为 true 时，创建的 SNAT 规则比较“暴力”：将所有本节点 Pod 发起的、访问非 docker0 接口的请求做 SNAT，这样访问其他节点 Pod 的请求来源 IP 会被设置为 flannel.1 接口的 IP，导致目的 Pod 看不到真实的来源 Pod IP。 而 flanneld 创建的 SNAT 规则比较温和，只对访问非 Pod 网段的请求做 SNAT。
所有节点节点启动flanneld服务
systemctl daemon-reload && systemctl enable flanneld
systemctl restart flanneld && systemctl status flanneld
在任意etcd节点上查看集群 Pod 网段(/16)：
$etcdctl --endpoints=https://10.0.0.10:2379,https://10.0.0.11:2379,https://10.0.0.12:2379
--ca-file=/etc/etcd/cert/ca.pem
--cert-file=/etc/etcd/cert/etcd.pem
--key-file=/etc/etcd/cert/etcd-key.pem
get /kubernetes/network/config
在任意etcd节点上查看已分配的 Pod 子网段列表(/24):
$etcdctl --endpoints=https://10.0.0.10:2379,https://10.0.0.11:2379,https://10.0.0.12:2379
--ca-file=/etc/etcd/cert/ca.pem
--cert-file=/etc/etcd/cert/etcd.pem
--key-file=/etc/etcd/cert/etcd-key.pem
ls /kubernetes/network/subnets
在各节点上 ping 上面列出的 flannel 接口 IP，确保能通
在任意etcd节点上查看某一 Pod 网段（如172.17.8.0-24）对应的节点 IP 和 flannel 接口地址:
$etcdctl --endpoints=https://10.0.0.10:2379,https://10.0.0.11:2379,https://10.0.0.12:2379
--ca-file=/etc/etcd/cert/ca.pem
--cert-file=/etc/etcd/cert/etcd.pem
--key-file=/etc/etcd/cert/etcd-key.pem
get /kubernetes/network/subnets/172.17.8.0-24
