K8S-kubeadm集群安装
一.环境准备
1.服务器信息
2.系统初始（所有服务器）
2.1修改主机名
hostnamectl set-hostname <主机名>
2.2添加主机hosts
[root@m1 ~]# cat /etc/hosts ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 #K8S集群 192.168.0.114 M1 192.168.0.115 M2 192.168.0.116 M3 192.168.0.117 W1 192.168.0.118 W2
2.3 更新软件包，安装依赖
# 更新yum [root@m1 ~]# yum -y update # 重启 [root@m1 ~]# reboot # 安装依赖包 [root@m1 ~]# yum install -y conntrack ipvsadm ipset jq sysstat curl iptables libseccomp
2.4 关闭防⽕墙、swap，重置iptables
# 关闭防⽕墙 [root@m1 ~]# systemctl stop firewalld && systemctl disable firewalld # 重置iptables [root@m1 ~]# iptables -F && iptables -X && iptables -F -t nat && iptables -X -t nat && iptables -P FORWARD ACCEPT # 关闭selinux [root@m1 ~]#setenforce 0 # 关闭dnsmasq(否则可能导致docker容器⽆法解析域名) [root@m1 ~]#systemctl stop dnsmasq.service && systemctl disable dnsmasq
2.5 系统参数设置
[root@m1 ~]# cat > /etc/sysctl.d/kubernetes.conf <<EOF net.bridge.bridge-nf-call-iptables=1 net.bridge.bridge-nf-call-ip6tables=1 net.ipv4.ip_forward=1 vm.swappiness=0 vm.overcommit_memory=1 vm.panic_on_oom=0 fs.inotify.max_user_watches=89100 EOF [root@m1 ~]# modprobe br_netfilter [root@m1 ~]# sysctl -p /etc/sysctl.d/kubernetes.conf
3. 安装docker（所有节点）
3.1 卸载旧版本
较旧的Docker版本称为docker或docker-engine。如果已安装这些程序，请卸载它们以及相关的依赖项。
yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine
3.2 安装docker
1: 安装必要的一些系统工具 yum install -y yum-utils device-mapper-persistent-data lvm2 2: 添加软件源信息 yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 3: 更新并安装 Docker-CE yum makecache fast 4: 查找Docker-CE的版本: yum list docker-ce.x86_64 --showduplicates | sort -r yum -y install docker-ce-19.03.9-3.el7 5: 开启Docker服务 systemctl start docker 6: 开机启动 systemctl enable docker 如果您无法使用Docker的仓库来安装Docker，则可以下载该 .rpm文件以供手动安装。每次要升级Docker时，都需要下载一个新文件。 1、访问 https://download.docker.com/linux/centos/7/x86_64/stable/Packages/ 并下载.rpm您想要安装的Docker版本的文件。 2、安装Docker CE，安装docker之前需要安装docker-ce-selinux 将下面的路径更改为您下载Docker软件包的路径。 yum install docker-ce-selinux-***.ce-1.el7.centos.noarch.rpm yum install docker-ce-***.ce-1.el7.centos.x86_64.rpm 3、启动Docker。 systemctl start docker
3.3 修改docker 安装目录
方法一：软连接
1 docker info #查看docker的基本信息 2 #停止docker服务 3 systemctl stop docker 4 #备份原目录 5 cp -r /var/lib/docker /data/docker 6 mv /var/lib/docker /var/lib/docker.bak 7 ln -s /data/docker /var/lib/docker 8 systemctl start docker
方法二：新建或者编辑 daemon.json
vim /etc/docker/daemon.json { "data-root": "/data/docker" } #重启docker systemctl restart docker
方法三：修改docker配置文件
#编辑文件 vim /usr/lib/systemd/system/docker.service [Service] ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock --data-root=/data/docker #重启docke systemctl daemon-reload systemctl restart docker
二.K8S安装必要⼯具（所有节点）
1 ⼯具说明
1 kubeadm: 部署集群⽤的命令 2 kubelet: 在集群中每台机器上都要运⾏的组件，负责管理pod、容器的⽣命周期 3 kubectl: 集群管理⼯具（可选，只要在控制集群的节点上安装即可）
2.配置yum源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes] name=Kubernetes baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=0 repo_gpgcheck=0 gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF
3.安装工具
#找到要安装的版本号 yum list kubeadm --showduplicates | sort -r #安装1.18.4-1 yum install -y kubeadm-1.18.4-1 kubelet-1.18.4-1 kubectl-1.18.4-1
4.设置kubelet的cgroupdriver
# 设置kubelet的cgroupdriver（kubelet的cgroupdriver默认为systemd，如果上⾯没有设置docker的exec-opts为systemd，这⾥就需要将kubelet的设置为cgroupfs） # 由于各⾃的系统配置不同，配置位置和内容都不相同 # 1. /etc/systemd/system/kubelet.service.d/10-kubeadm.conf(如果此配置存在的情况执⾏下⾯命令：) [root@m1 ~]# sed -i "s/cgroup-driver=systemd/cgroup-driver=cgroupfs/g" /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf # 2. 如果1中的配置不存在，则此配置应该存在(不需要做任何操)：/usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf
kubeadm添加新master或node. 注意：需拷贝etcd ca client证书
一、首先在master上生成新的token
kubeadm token create --print-join-command
1
kubeadm join 192.168.1.10:6443 --token 42ojpt.z2h5ii9n898tzo36 --discovery-token-ca-cert-hash sha256:7cf14e8cb965d5eb9d66f3707ba20deeadc90bd36b730ce4c0e5d9db80d3625b
二、在master上生成用于新master加入的证书
kubeadm init phase upload-certs --experimental-upload-certs
1
[root@master ~]# kubeadm init phase upload-certs --experimental-upload-certs
Flag --experimental-upload-certs has been deprecated, use --upload-certs instead
W1228 17:15:02.356743 27154 version.go:98] could not fetch a Kubernetes version from the internet: unable to get URL “https://dl.k8s.io/release/stable-1.txt”: Get https://storage.googleapis.com/kubernetes-release/release/stable-1.txt: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)
W1228 17:15:02.356872 27154 version.go:99] falling back to the local client version: v1.15.1
[upload-certs] Storing the certificates in Secret “kubeadm-certs” in the “kube-system” Namespace
[upload-certs] Using certificate key:
e799a655f667fc327ab8c91f4f2541b57b96d2693ab5af96314ebddea7a68526
三、添加新node
kubeadm join 192.168.1.10:6443 --token 42ojpt.z2h5ii9n898tzo36 --discovery-token-ca-cert-hash sha256:7cf14e8cb965d5eb9d66f3707ba20deeadc90bd36b730ce4c0e5d9db80d3625b
四、添加新master，把红色部分加到–experimental-control-plane --certificate-key后。
kubeadm join 192.168.1.10:6443 --token 42ojpt.z2h5ii9n898tzo36 --discovery-token-ca-cert-hash sha256:7cf14e8cb965d5eb9d66f3707ba20deeadc90bd36b730ce4c0e5d9db80d3625b --experimental-control-plane --certificate-key e799a655f667fc327ab8c91f4f2541b57b96d2693ab5af96314ebddea7a68526