Kubernetes之Taints与Tolerations 污点和容忍

        NodeAffinity节点亲和性，是Pod上定义的一种属性，使Pod能够按我们的要求调度到某个Node上，而Taints则恰恰相反，它可以让Node拒绝运行Pod，甚至驱逐Pod。

        Taints(污点)是Node的一个属性，设置了Taints(污点)后，因为有了污点，所以Kubernetes是不会将Pod调度到这个Node上的，

       于是Kubernetes就给Pod设置了个属性Tolerations(容忍)，只要Pod能够容忍Node上的污点，那么Kubernetes就会忽略Node上的污点，就能够(不是必须)把Pod调度过去。

        因此 Taints(污点)通常与Tolerations(容忍)配合使用。

1、设置污点：

 kubectl taint node [node] key=value[effect]   
      其中[effect] 可取值： [ NoSchedule | PreferNoSchedule | NoExecute ]
       NoSchedule ：一定不能被调度。
       PreferNoSchedule：尽量不要调度。
       NoExecute：不仅不会调度，还会驱逐Node上已有的Pod。
  示例：kubectl taint node 10.3.1.16 test=16:NoSchedule

　　

2、去除污点：

 比如设置污点：
     kubectl taint node 10.3.1.16 test=16:NoSchedule
     kubectl taint node 10.3.1.16 test=16:NoExecute
 去除指定key及其effect：
     kubectl taint nodes node_name key:[effect]-    #(这里的key不用指定value)
                
 去除指定key所有的effect: 
     kubectl taint nodes node_name key-
 
 示例：
     kubectl taint node 10.3.1.16 test:NoSchedule-
     kubectl taint node 10.3.1.16 test:NoExecute-
     kubectl taint node 10.3.1.16 test-
 

　

查看 node1 上的 taint：

kubectl describe nodes node1

　　 

3、Pod 容忍污点示例：

    首先给node设置个污点以观察调度效果：

 kubectl taint node 10.3.1.16 test=16:NoSchedule

　　 

    当pod没有设置容忍时被调度到10.3.1.17：

apiVersion: v1
kind: Pod
metadata:
  name: pod-taints
  labels:
    os: ubuntu
spec:
  containers:
  - name: pod-tains
    image: 10.3.1.15:5000/ubuntu:16.04
 
root@ubuntu:#kubectl create -f pod-taints.yaml
pod "pod-taints" created
###
root@ubuntu# kubectl get pod -o wide
NAME       READY    STATUS  RESTARTS  AGE   IP        NODE
pod-taints    1/1     Running   0     7s 192.168.77.216 10.3.1.17

　　

 

   给Pod设置容忍：

apiVersion: v1
kind: Pod
metadata:
  name: pod-taints
  labels:
    os: ubuntu
spec:
  tolerations: #设置容忍性
  - key: "test" 
   operator: "Equal"  #如果操作符为Exists，那么value属性可省略,如果不指定operator，则默认为Equal
   value: "16"
   effect: "NoSchedule"
  #意思是这个Pod要容忍的有污点的Node的key是test Equal 16,效果是NoSchedule，
  #tolerations属性下各值必须使用引号，容忍的值都是设置Node的taints时给的值。
 containers:
   - name: pod-tains
   image: 10.3.1.15:5000/ubuntu:16.04
 
root@ubuntu15:/data/yaml# kubectl get pod -o wide
NAME              READY     STATUS    RESTARTS   AGE       IP              NODE
pod-taints        1/1       Running      0       3m    192.168.150.216   10.3.1.16

#容忍后就立即调度到另外一个Node上了。需要在两个Node的Pod数量不平衡时才能看到效果。

　　

 

对于tolerations属性的写法：

     其中的key、value、effect 与Node的Taint设置需保持一致， 还有以下几点说明：

         1、如果operator的值是Exists，则value属性可省略。

         2、如果operator的值是Equal，则表示其key与value之间的关系是equal(等于)。

         3、如果不指定operator属性，则默认值为Equal。

    另外，还有两个特殊值：

         1、空的key 如果再配合Exists 就能匹配所有的key与value ，也是是能容忍所有node的所有Taints。

         2、空的effect 匹配所有的effect。

一个node上可以有多个污点：

     比如     test=16:NoScheduler   test2=16:NoSchedule  

而在Pod容忍时只容忍了其中一个：

tolerations:
  - key: "test"
    operator: "Equal" 
    value: "16"
    effect: "NoSchedule"

　　

 

这样的结果是此Pod无法被调度到key为test的node( 10.3.1.16)上去，因为此Node上设置了两个污点，

而这个Pod只匹配到了一个污点，也就是只容忍了一个污点，所以可以再加一个容忍：

 tolerations:
  - key: "test"
    operator: "Exists" 
    effect: "NoSchedule"
  - key: "test2"
    operator: "Equal"
    value: "16"
    effect: "NoSchedule"
 

　　 

        如果在设置node的Taints(污点)之前，就已经运行了一些Pod，那么这些Pod是否还能继续在此Node上运行？ 这就要看设置Taints污点时的effect(效果)了。

       如果effect的值是NoSchedule或PreferNoSchedule，那么已运行的Pod仍然可以运行，只是新Pod(如果没有容忍)不会再往上调度。

       而如果effect的值是NoExecute，那么此Node上正在运行的Pod，只要没有容忍的，立刻被驱逐。

       虽然是立刻被驱逐，但是K8S为了彰显人性化，又给具有NoExecute效果的污点， 在容忍属性中有一个可选的

          tolerationSeconds字段，用来设置这些Pod还可以在这个Node之上运行多久，给它们一点宽限的时间，到时间才驱逐。

       如果是以Pod来启动的，那么Pod被驱逐后， 将不会再被运行，就等于把它删除了。

       如果是deployment/rc，那么删除的pod会再其它节点运行。

       如果是DaemonSet在此Node上启动的Pod，那么也不会再被运行，直到Node上的NoExecute污被去除或者Pod容忍。

#设置Pod的宽限时间
spec:
  tolerations: #设置容忍性
  - key: "test"
    operator: "Equal" #如果操作符为Exists，那么value属性可省略
    value: "16"
    effect: "NoExecute"
    tolerationSeconds: 180 
    #如果运行此Pod的Node，被设置了具有NoExecute效果的Taint(污点)，这个Pod将在存活180s后才被驱逐。
    #如果没有设置tolerationSeconds字段，将永久运行。
　　 

　　

       通过对Taints和Tolerations的了解，可以知道，通过它们可以让某些特定应用，独占一个Node：

给特定的Node设置一个Taint，只让某些特定的应用来容忍这些污点，容忍后就有可能会被调度到此特定Node，

但是也不一定会调度给此特定Node，设置容忍并不阻止调度器调度给其它Node，那么如何让特定应用的Node

只能被调度到此特定的Node呢，这就要结合NodeAffinity节点亲和性，给Node打个标签，然后在Pod属性里

设置NodeAffinity到Node。如此就能达到要求了。

实例配置：

kubectl get deployment  h5-weifeng -o yaml  -n xitu-pretest


tolerations:
      - effect: NoSchedule
        key: xitu
        operator: Equal
        value: pretest

　　

kubectl describe  nodes  cn-hangzhou.172.16.1.236


Taints:             xitu=pretest:NoSchedule

　　

kubectl get pod -n xitu-pretest -o wide 
NAME                                                     READY   STATUS      RESTARTS   AGE    IP            NODE                       NOMINATED NODE

mall-app-async-api-6c9d78c4b-msczt                       1/1     Running     0          19h    10.20.2.68    cn-hangzhou.172.16.1.236   <none>
mall-audit-provider-5b7b5f4d5-559nf                      1/1     Running     1          47h    10.20.2.120   cn-hangzhou.172.16.1.236   <none>
mall-basic-oss-web-567f7c6c76-h48kf                      1/1     Running     0          45h    10.20.2.23    cn-hangzhou.172.16.1.236   <none>