Calico在Kubernetes中的搭建

一，需求

Kubernetes官方推荐的是Flannel，但是Flannel是一个overlay的网络，对性能会有一定的影响。Calico恰好能解决一下overlay网络的不足。

Calico在Kubernetes上是以plugin的方式运行的，即calico会检测Kubernetes对于pod或者service的操作，来控制ip的分配和回收。

 

二，准备

主要参考：

https://github.com/kubernetes/kubernetes/blob/master/docs/getting-started-guides/fedora/fedora-calico.md

http://www.cnblogs.com/openxxs/p/4976948.html

 

1，三台主机：centos

    10.11.151.97 Kubernetes Master

    10.11.151.100 node1

    10.11.151.101 node2

     在/etc/hosts中添加这三台主机：

     10.11.151.97 tc-151-97

2，Master:

     kube-apiserver

     kube-controller-manager

     kube-scheduler

     etcd

     docker

     calico-node image

 

    Nodes:

      kube-proxy

      kubelet

      docker

      calico-node image

      etcd

      iperf image

      calicoctl （https://github.com/projectcalico/calico-docker/releases）目前最新版本0.12.0

      calico-Kubernetes plugin（https://github.com/projectcalico/calico-kubernetes/releases/tag/v0.6.0）目前最新版本0.6.0

 

三，建立Etcd Cluster

三台主机建立一个Etcd cluster。在97上运行的脚本为：

#!/bin/sh
export localip=10.11.151.97
export name=bjcnctest0
export port1=2380
export port2=2379
export port3=4002
 
sudo ./etcd 
-name $name 
-initial-advertise-peer-urls http://$localip:$port1 
-listen-peer-urls http://0.0.0.0:$port1 
-listen-client-urls http://0.0.0.0:$port2,http://0.0.0.0:$port3 
-advertise-client-urls http://$localip:$port2,http://$localip:$port3
-initial-cluster-token etcd-cluster 
-initial-cluster bjcnctest0=http://$localip:$port1,bjcnctest1=http://10.11.151.100:$port1,bjcnctest2=http://10.11.151.101:$port1 
-initial-cluster-state new &

三台主机上分别运行etcd，组建好cluster，正确组建后，每个主机应该看到published name

 

四，设置Master

运行kube-apiserver:

./kube-apiserver --logtostderr=true --v=0 --etcd_servers=http://127.0.0.1:2379 --kubelet_port=10250 --allow_privileged=false --service-cluster-ip-range=172.16.0.0/12 --insecure-bind-address=0.0.0.0 --insecure-port=8080 2>&1 >apiserver.out &

kube-controller-manager:

./kube-controller-manager --logtostderr=true --v=0 --master=http://tc-151-97:8080 --cloud-provider="" 2>&1 >controller.out &

kube-scheduler:

./kube-scheduler --logtostderr=true --v=0 --master=http://tc-151-97:8080 2>&1 > scheduler.out &

在Master上运行Calico服务：

./calicoctl node --ip=10.11.151.97

用docker ps可以看到Calico node的container

Master上的运行比较简单。

 

五，Nodes

Kubernetes在使用Calico的试试可以有两种IP的分配方式，第一种是使用docker网桥ip地址段进行分配，另外一种是用Calico IPAM来进行分配。

下面以第一种进行描述：

在10.11.151.100上的操作为

1，新建一个网桥cbr0：

vi /etc/sysconfig/network-scripts/ifcfg-cbr0
-----------------------
DEVICE=cbr0
TYPE=Bridge
IPADDR=172.1.0.0
NETMASK=255.255.255.0
ONBOOT=yes
BOOTPROTO=static

这里给出一个ip地址段172.1.0.0/24，每个主机上可以使用256个IP。

如果当前主机上已经运行了docker，先停止：systemctl stop docker

重新启动docker的时候将docker使用自己新建的网桥：

vi /usr/lib/systemd/system/docker.service

在/usr/bin/docker daemon的启动参数中添加“--bridge=cbr0 --iptables=false --ip-masq=false”

尽量不要影响原本的docker配置。重新开启docker：systemctl start docker

用ifconfig可以看到一个cbr0的网络。

在101主机上换个一个IP段，比如172.1.1.0。

2，运行Calico服务

./calicoctl node --ip=10.11.151.100

3，将calico-kubernetes插件放到kubernetes使用插件的位置，重命名：

mv calico-kubernetes /usr/libexec/kubernetes/kubelet-plugins/net/exec/calico/calico
chmod +x /usr/libexec/kubernetes/kubelet-plugins/net/exec/calico/calico

4，安装Kubernetes

运行kube-proxy:

KUBE_API_ROOT=http://10.11.151.97:8080/api/v1/ ./kube-proxy --logtostderr=true --v=0 --master=http://tc-151-97:8080 --proxy-mode=iptables &

这里KUBE_API_ROOT变量会传递给Calico，calico可以通过master的api去获取当前的pod或者node信息。

运行kubelet：

CALICO_IPAM=false KUBE_API_ROOT=http://10.11.151.97:8080/api/v1/ ./kubelet --logtostderr=true --v=0 --api_servers=http://tc-151-97:8080 --address=0.0.0.0 --network-plugin=calico --allow_privileged=false --pod-infra-container-image=10.11.150.76:5000/kubernetes/pause:latest > a.txt &

CALICO_IPAM=false是指定Calico的网络ip分配使用docker的网桥ip地址段，也就上上面我们自己新建的cbr0的网段。

----------------------------------插入开始------------------------------------------

这里插入使用另外一种IP分配方式的方法

如果CALICO_IPAM设置为true(calico plugin从0.5.0以后默认为true)那么会从calico的pool中去获取ip地址段。而会忽略docker0的网桥IP设置。

使用命令查看当前有的ip pool：

./calicoctl pool show

用remove命令删除不用的IP pool，用add的方式添加IP pool。

./calicoctl pool add 172.0.0.0/8 --nat-outgoing

这样如果使用CALICO_IPAM=true的时候运行kubelet，calico为pod分配IP会默认从pool中获取ip，获取的原则是每个主机上默认分配一个64大小的IP段，如果这个主机上使用了超过了64个，那么就会重新找到一个可以用的64的段。

-------------------------------------插入结束---------------------------------------

这里--network-plugin=calico指定kubernetes使用calico的网络，kubelet会去调用/usr/libexec/kubernetes/kubelet-plugins/net/exec/calico/calico插件，接管kubelet的ip分配任务。

可以在/var/log/calico/kubernetes/calico.log查看calico插件的日志，看看是不是异常。
到此，NODE的配置创建成功。

在101上同样配置一下kubernetes。

 

六，测试一下

我们循环创建1个pod在100上，1个pod在101上：

test.yaml:

apiVersion: v1
kind: ReplicationController
metadata:
name: test-5
spec:
replicas: 1
template:
metadata:
labels:
app: test-5
spec:
containers:
- name: iperf
image: 10.11.150.76:5000/openxxs/iperf:1.2
nodeSelector:
kubernetes.io/hostname: tc-151-100

在master上：

./kubelet create -f test.yaml

在101上创建只需要把hostname改为tc-151-101。

创建完成后，使用./calicoctl endpoint show --detailed查看IP分配和endpoint情况，看看IP分配是否成功。

或者直接docker ps查看创建出来的container ID，exec进去，ip addr show看一下ip，然后ping 101上的container看看是不是成功的。

创建多点Pods吧：

test2.yaml:

apiVersion: v1
kind: ReplicationController
metadata:
name: test-5
spec:
replicas: 70
template:
metadata:
labels:
app: test-5
spec:
containers:
- name: iperf
image: 10.11.150.76:5000/openxxs/iperf:1.2
nodeSelector:
kubernetes.io/hostname: tc-151-100

这里我们在100主机上创建70个iperf的pods。

可是！

我们发现居然只有40启动起来了！另外的30个资源分配失败。查找原因发现，kubelet默认只能最多创建40个pods。我们将kubelet重启，加上参数--max-pods=200，将最大pods数量设置为200。重新创建，70pods均创建成功。