k8s安装记录

目录

• 一、准备工作
• 二、docker-ce 安装
• 三、k8s安装
• 四、k8s初始化开始
• 四、其他问题
• 五、相关链接

一、准备工作

--------------------------------------【准备工作】-------------------------------------------------
1.配置虚拟机网络

2.镜像源配置

mkdir /etc/yum.repos.d/bak && mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/bak
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum makecache
yum -y update

3.关闭防火墙

systemctl stop firewalld & systemctl disable firewalld

4.关闭selinux

setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config

5.关闭swap

swapoff -a
sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab
#查看swap是否被注释掉
cat /etc/fstab  
# 用top查看swap情况，会看到swap的使用为0

#刷新swap使之生效
sysctl -p

6.设置路由

yum install -y bridge-utils.x86_64
modprobe  br_netfilter  # 加载br_netfilter模块，使用lsmod查看开启的模块

cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

sysctl --system  # 重新加载所有配置文件

7.修改主机名,其他节点类似，可设为master,node1,node2

hostnamectl set-hostname centos-master

cat <<EOF >>/etc/hosts
192.168.214.128 centos-master
EOF

二、docker-ce 安装

------------------------------------【docker安装】-------------------------------------------------
1.配置docker镜像源

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum makecache

2.安装合适的docker版本

# 查看docker-ce版本
yum list docker-ce --showduplicates | sort -r
#停止并删除已有的docker
systemctl stop docker && systemctl disable docker
yum remove docker-ce docker-ce-cli

3.安装指定版本的docker-ce，建议安装18.09

yum -y install docker-ce-18.09.9

4.启动docker服务并激活开机启动

systemctl start docker & systemctl enable docker

5.配置docker镜像源：

touch /etc/docker/daemon.json
vim /etc/docker/daemon.json
{
    "registry-mirrors": ["https://r0p1k0cb.mirror.aliyuncs.com"]
}
systemctl daemon-reload
systemctl restart docker

6.运行第一个docker容器

docker run hello-world

# 查看docker版本
docker version

7.貌似会把上面的配置冲掉，可不做！

修改docker cgroup驱动，与k8s一致，使用systemd
cat > /etc/docker/daemon.json <<EOF
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2",
  "storage-opts": [
    "overlay2.override_kernel_check=true"
  ]
}
EOF

systemctl restart docker  # 重启使配置生效

三、k8s安装

------------------------------------【k8s安装】-----------------------------------------------------------------
1.配置k8s yum源

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
       http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

2.在master节点安装kubelet kubeadm kubectl，其他节点也需要

yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes

3.开机启动kubelet

systemctl enable --now kubelet

四、k8s初始化开始

------------------------------------【k8s初始化】----------------------------------------------------------------
开始前，建议，先做一个快照，便于随时恢复！！！

1. 在master进行k8s集群初始化 (注意：Centos最低要求，2核2G，否则初始化失败。)

//定义POD的网段为：10.244.0.0/16，注意：这里指定网段后，需要在kube-flannel.yml 文件中保持一致。api server地址就是master本机IP地址
kubeadm init --kubernetes-version=1.17.3 --apiserver-advertise-address=192.168.214.128 --image-repository registry.aliyuncs.com/google_containers --service-cidr=192.1.0.0/16 --pod-network-cidr=10.244.0.0/16

//成功结果如下：

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

【注意】： 记录生成的最后部分内容，此内容需要在后面会用到，其它节点加入k8s集群时执行。

kubeadm join 192.168.214.128:6443 --token wuhe1t.2prgpopmvd7eqdsx 
    --discovery-token-ca-cert-hash sha256:26ab9402953c65f7de57543e7dc7590a1ab1847ce13774e4e4f5ea4eed242093

1.1 执行以下命令

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

说明：如果kubeadm init失败，想重新init,可以重置：

kubeadm reset
rm -rf $HOME/.kube  //需要手动删除文件夹

2.在master节点部署flannel网络
方法一：（网络通畅的情况下运行）

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

// 如果上述命令由于网络无法连接失败，可尝试：

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
kubectl apply -f kube-flannel.yml

注意：需要修改该文件，若要修改网段，需要kubeadm –pod-network-cidr=和这里同步，修改network项。

vim kube-flannel.yml

net-conf.json: |
 64     {
 65       "Network": "10.244.0.0/16",  # 注意:这里的配置，要和kubeadm init中指定的一致！！！
 66       "Backend": {
 67         "Type": "vxlan"
 68       }
 69     }

输入ip route show验证,是否显示10.244.0.0/16，如果失败，docker images请查看镜像是否完整。是否有flannel相关的镜像，版本是否正确。
可手动执行：
docker pull quay.io/coreos/flannel:v0.11.0-amd64
docker images //查看

注意： 如果失败unchanged,则使用生产不能运行这一步，所有的pod都会运行不了，失去通信

kubectl delete -f kube-flannel.yml
kubectl apply -f kube-flannel.yml

3.将master节点作为工作节点，k8s集群默认不会将Pod调度到master上

kubectl taint nodes --all node-role.kubernetes.io/master-

4.加入node节点，在centos-node1节点执行上面步骤中保存的k8s join命令，这个命令在kubeadm init时生成。如果忘记，可以执行kubeadm token list 查看。

kubeadm join 192.168.214.128:6443 --token pxu31z.6yjf0vih086oe4lr 
    --discovery-token-ca-cert-hash sha256:a5a5def277ae5f1a07e77ceb99978fa0c2a7dc67b150121117cfb9e9de533ef2

//如果token过期，可以重新生成token:

# kubeadm token create
424mp7.nkxx07p940mkl2nd
# openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
d88fb55cb1bd659023b11e61052b39bbfe99842b0636574a16c76df186fd5e0d

kubeadm join 192.168.214.128:6443 –-token pxu31z.6yjf0vih086oe4lr --discovery-token-ca-cert-hash sha256:a5a5def277ae5f1a07e77ceb99978fa0c2a7dc67b150121117cfb9e9de533ef2

说明：如果想删除节点，可执行

kubectl get node
kubectl delete node centos-node-02

5.验证集群是否正常
//若提示notReady则表示节点尚未准备好，可能正在执行其他初始化操作，等待全部变为Ready即可

kubectl get nodes 

6.建议查看所有pod状态，运行：

kubectl get pods -n kube-system    // 全部Running则表示集群正常

【排错】:

查看pod状态
kubectl get pod --all-namespaces

查看Pod具体情况
kubectl describe pod kube-flannel-ds-amd64-969xq --namespace=kube-system

排错日志：
journalctl -f  # 当前输出日志
journalctl -f -u kubelet  # 只看当前的kubelet进程日志

7.查看所有pods

	kubectl get pods -n kube-system

8.kubelet 启动状态

systemctl status kubelet
systemctl restart docker && systemctl restart kubelet

9.移除节点

kubectl get node
kubectl delete node centos-node-02

10.重置

kubeadm reset
rm -rf $HOME/.kube  //需要手动删除文件夹

11.查看pod状态

kubectl get pod --all-namespaces

12.查看Pod具体情况

kubectl describe pod kube-flannel-ds-amd64-969xq --namespace=kube-system

13.dashboard安装

a.下载文件
wget https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml
b.修改文件
158   type: NodePort
159   ports:
160     - port: 443
161       targetPort: 8443
162       nodePort: 30001


c.//dashboard-rbac.yaml文件，可自建，内容如下：
apiVersion: v1
kind: ServiceAccount
metadata:
  name: dashboard
  namespace: kube-system
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: dashboard
subjects:
  - kind: ServiceAccount
    name: dashboard
    namespace: kube-system
roleRef:
  kind: ClusterRole
  name: cluster-admin
  apiGroup: rbac.authorization.k8s.io

d.执行如下命令
sudo kubectl apply -f kubernetes-dashboard.yaml
sudo kubectl apply -f dashboard-rbac.yaml 

e.详情：
https://juejin.im/post/5d089f49f265da1baa1e7611#heading-23 

f.获取token
kubectl -n kube-system describe $(kubectl -n kube-system 
get secret -n kube-system -o name | grep namespace) | grep token

g.谷歌浏览器登录
mkdir key && cd key
#生成证书
openssl genrsa -out dashboard.key 2048 
openssl req -new -out dashboard.csr -key dashboard.key -subj '/CN=192.168.246.200'
openssl x509 -req -in dashboard.csr -signkey dashboard.key -out dashboard.crt 
#删除原有的证书secret
kubectl delete secret kubernetes-dashboard-certs -n kube-system
#创建新的证书secret
kubectl create secret generic kubernetes-dashboard-certs --from-file=dashboard.key --from-file=dashboard.crt -n kube-system
#查看pod
kubectl get pod -n kube-system
#重启pod
kubectl delete pod <pod name> -n kube-system

--------------------------------------------------------------------------------------------------------

## 下载镜像需要一定时间，看pod处于running表示安装成功
kubectl get pod -n kube-system |grep kubernetes-dashboard
如果没有运行，使用kubectl describe pod kubernetes-dashboard-f65fc699b-62wn8 --namespace=kube-system ,查看具体失败原因，很大一部分原因是拉去镜像失败，可手动拉取docker pull xxx:xx,具体镜像名称，可在该文件中查看，kubernetes-dashboard.yaml，可以修改替换镜像地址。

例如，我改了以下内容：
109     spec:
110       containers:
111       - name: kubernetes-dashboard
112         image: siriuszg/kubernetes-dashboard-amd64:v1.10.1   //原有的镜像，手动无法下载

--------------------------------------【其他问题记录】--------------------------------------------------

四、其他问题

k8s部署失败的常见原因：
http://dockone.io/article/2247

k8s其他安装方法：
离线安装：https://www.jianshu.com/p/ae9f20b42064?utm_campaign=haruki&utm_content=note&utm_medium=reader_share&utm_source=weixin&from=singlemessagehttps://www.jianshu.com/p/ae9f20b42064?utm_campaign=haruki&utm_content=note&utm_medium=reader_share&utm_source=weixin&from=singlemessage

Rancher https://rancher.com/
自动化部署集群 https://github.com/gjmzj/kubeasz

配置Calico网络：
https://mp.weixin.qq.com/s/WsY9z56Xtc4p7L5oM1tkuw

dockerhub地址：
https://hub.docker.com/   //查找相应的镜像

docker images 结果如下：

五、相关链接

https://juejin.im/post/5d60d11051882513cb48ff20
https://zhuanlan.zhihu.com/p/96084545
https://juejin.im/post/5d60d11051882513cb48ff20
https://segmentfault.com/a/1190000013903445#item-1-14