Kubernetes（九）单Master集群 部署API Server、controller-manager、scheduler

一、在master节点下载二进制包

https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG-1.16.md#v1161

 

二、选择kubernetes-server-linux-amd64.tar.gz下载

wget https://storage.googleapis.com/kubernetes-release/release/v1.16.6/kubernetes-server-linux-amd64.tar.gz

 

三、解压文件

tar zxvf kubernetes-server-linux-amd64.tar.gz

 

四、得到kubernetes目录

cd kubernetes

 

 

五、我们只需要kubernetes/server/bin以下文件

• kube-apiserver
• kubectl
• kube-controller-manager
• kube-scheduler

 

以上是为了获取最新的k8s,所以可以去官网下载k8s安装的二进制文件，我们还需要一些其他的辅助文件：

下面的文件实际上可以正常运行的，可以跳过一至五这个步骤

 

k8s-master.tar.gz
86.6 MB

解压文件tar zxvf k8s-master.tar.gz 输出以下内容：

查看目录结构 tree kubernetes

kubernetes
├── bin #安装程序，bin文件我们可以利用官方的新版本替换掉
│   ├── kube-apiserver
│   ├── kube-controller-manager
│   ├── kubectl
│   └── kube-scheduler
├── cfg #配置文件
│   ├── kube-apiserver.conf
│   ├── kube-controller-manager.conf
│   ├── kube-scheduler.conf
│   └── token.csv
├── logs #存放日志
└── ssl #存放证书

 

查看cat kube-apiserver.conf文件

输出以下内容：

KUBE_APISERVER_OPTS="--logtostderr=false #输出日志
--v=2   #日志级别 0-8级别范围
--log-dir=/opt/kubernetes/logs #日志输出目录
--etcd-servers=https://192.168.31.61:2379,https://192.168.31.62:2379,https://192.168.31.63:2379 #etcd服务地址配置
--bind-address=192.168.31.61 #本机IP（内网IP）
--secure-port=6443 #端口
--advertise-address=192.168.31.61 #通告地址，一般和本机IP一样，告诉node通过哪个IP来链接访问
--allow-privileged=true #允许创建的容器具有超级管理员权限
--service-cluster-ip-range=10.0.0.0/24 #service IP范围，service会分配这个IP段的IP地址
--enable-admission-plugins=NamespaceLifecycle,LimitRanger,ServiceAccount,ResourceQuota,NodeRestriction #启用控制插件，属于k8s高级功能，比如资源配额限制等
--authorization-mode=RBAC,Node #授权模式，一般使用rbac角色来访问
--enable-bootstrap-token-auth=true #启用bootstrap，为他们自动颁发证书，在token.csv 定义具体内容
--token-auth-file=/opt/kubernetes/cfg/token.csv
--service-node-port-range=30000-32767 #暴露servicenode的端口

#kubelet证书

--kubelet-client-certificate=/opt/kubernetes/ssl/server.pem
--kubelet-client-key=/opt/kubernetes/ssl/server-key.pem

 

#apiserver使用https证书
--tls-cert-file=/opt/kubernetes/ssl/server.pem  
--tls-private-key-file=/opt/kubernetes/ssl/server-key.pem
--client-ca-file=/opt/kubernetes/ssl/ca.pem
--service-account-key-file=/opt/kubernetes/ssl/ca-key.pem

 

#etcd使用https证书
--etcd-cafile=/opt/etcd/ssl/ca.pem
--etcd-certfile=/opt/etcd/ssl/server.pem
--etcd-keyfile=/opt/etcd/ssl/server-key.pem

 

#日志审计配置
--audit-log-maxage=30
--audit-log-maxbackup=3
--audit-log-maxsize=100
--audit-log-path=/opt/kubernetes/logs/k8s-audit.log"

更多配置明细访问官网 https://kubernetes.io/zh/docs/reference/kubernetes-api/ 命令行工具参考查看

 

 

查看cat kube-controller-manager.conf文件

输出以下内容：

 

KUBE_CONTROLLER_MANAGER_OPTS="--logtostderr=false #配置日志
--v=2  #配置日志级别
--log-dir=/opt/kubernetes/logs  #配置日志目录
--leader-elect=true   #集群选举，api server才做高可用， kube-controller-manager本身会基于etcd来实现高可用，启用该选项即可
--master=127.0.0.1:8080   #apiserver的IP，我们设置链接本地，8080是apiserver监听端口，它默认会开放该端口
--address=127.0.0.1 #组件监听地址，本地即可，无需对外
--allocate-node-cidrs=true
--cluster-cidr=10.244.0.0/16
--service-cluster-ip-range=10.0.0.0/24 #server的IP范围，和 kube-apiserverIP范围是一样的

 

#集群签名的证书，node加入集群颁发自动颁发kubelet证书，kubelet由controller-manager颁发，controller-manager由下面配置的颁发
--cluster-signing-cert-file=/opt/kubernetes/ssl/ca.pem
--cluster-signing-key-file=/opt/kubernetes/ssl/ca-key.pem

 

#签署service-account所需要的私钥
--root-ca-file=/opt/kubernetes/ssl/ca.pem

--service-account-private-key-file=/opt/kubernetes/ssl/ca-key.pem

 

#为node颁发证书时间，10年
--experimental-cluster-signing-duration=87600h0m0s"

查看cat kube-scheduler.conf文件

输出以下内容：

KUBE_SCHEDULER_OPTS="--logtostderr=false
--v=2
--log-dir=/opt/kubernetes/logs
--leader-elect #多个scheduler集群选举

--master=127.0.0.1:8080   #链接apiserver地址
--address=127.0.0.1" #监听本地地址

 

六、将证书复制到目录

cp /root/TLS/k8s/*.pem /root/kubernetes/ssl/

cp /root/TLS/k8s/*.pem /opt/kubernetes/ssl/

kube-proxy.pem在master不会使用，可以不用复制

七、配置文件

vi kube-apiserver.conf

我们需要在每台机器设置自己的IP，只需要修改apiserver.cnf即可，其他服务都是监听127.0.0.1的地址

 

八、将文件移动到工作目录

mv /root/kubernetes/ /opt/

mv kube-apiserver.service kube-controller-manager.service kube-scheduler.service /usr/lib/systemd/system 

 

九、启动服务

systemctl start kube-apiserver

systemctl start kube-controller-manager

systemctl start kube-scheduler

 

十、查看日志

ls /opt/kubernetes/logs/

less /opt/kubernetes/logs/kube-apiserver.INFO
tail /opt/kubernetes/logs/kube-controller-manager.info

 

十一、设置开机启动

for i in $(ls /opt/kubernetes/bin/);do systemctl enable $i;done

也可以一个个单独设置，这里循环设置的；

 

十二、kubectl 移动到环境变量

mv /opt/kubernetes/bin/kubectl /usr/local/bin/

关于启动情况的排查：

ps -ef |grep *#查看启动进程

ps -ef |grep kube-apiserver

ps -ef |grep kube-controller-manager

ps -ef |grep kube-scheduler

 

#查看端口监听情况

netstat -ntlp 

 

#查看日志

systemctl -l status kube-apiserver

systemctl -l status kube-controller-manager

systemctl -l status kube-scheduler

 

十三、查看启动的情况

kubectl get cs

输出以下结果：

NAME AGE
scheduler <unknown>
controller-manager <unknown>
etcd-1 <unknown>
etcd-2 <unknown>
etcd-0 <unknown>

十四、因为我们启动了bootstrap自动颁发证书，所以还需要对用户进行设置

cat /opt/kubernetes/cfg/token.csv

输出结果：

c47ffb939f5ca36231d9e3121a252940,kubelet-bootstrap,10001,"system:node-bootstrapper"[root@k8s-master1 k8s]#

结构：token,用户，uid,用户组

 

因为这个用户是没有权限的，需要我们在master1机器上给该用户授权

kubectl create clusterrolebinding kubelet-bootstrap
--clusterrole=system:node-bootstrapper
--user=kubelet-bootstrap

 

附录：

自己生成token 

head -c 16 /dev/urandom | od -An -t x | tr -d ' '

 

但apiserver配置的token必须要与node节点bootstrap.kubeconfig配置里一致。

关于bootstrap.kubeconfig我们在下一节说明