1.简介
1.1. 背景:公司正在进行敏捷开发环境的搭建,以取代传统的架构,好处大大的,我就不赘述了。公司原来负责这个项目的同事要转组,我只好交给另外同事继续,但是为了防止同样的事情,我也需要深入了解下环境,同时证明一下我的水平:)。
1.2. 说明:搭建的这个环境是测试的环境,主要为了让我更加熟悉我们的UAT/PROD环境。虽然这个项目并没有正式上线,但是UAT环境已经算是搭建起来了,为了不影响上线,我只好重新搭建一套完整的环境,同时也算是完成一些马哥架构班的作业。主机都是在同一台ESXi上虚拟出来的机器,每台机器使用两个网卡,一个用于外部通讯(可以上网),一个用于内部通讯(组件之间通讯)。同时安装DNS服务器,NTP服务器,CEPH分布式系统服务器来尽量模仿真实环境,同时这个环境也会为下一个项目openstack服务。
1.3. Kubernetes主要功能
数据卷:Pod中容器之间共享数据,可以使用数据卷。
应用程序健康检查:容器内服务可能进程堵塞无法处理请求,可以设置监控检查策略保证应用健壮性
复制应用程序实例:控制器维护着Pod副本数量,保证一个Pod或一组同类的Pod数量始终可用。
弹性伸缩:根据设定的指标(CPU利用率)自动缩放Pod副本数。
服务发现:使用环境变量或DNS服务插件保证容器中程序发现Pod入口访问地址
负载均衡:一组Pod副本分配一个私有的集群IP地址,负载均衡转发请求到后端容器,在集群内部其他Pod可通过这个ClusterIP访问应用。
滚动更新:更新服务不中断,一次更新一个Pod,而不是同时删除整个服务。
服务编排:通过文件描述部署服务,使得应用程序部署变得更高效。
资源监控:Node节点组件继承cAdvisor资源收集工具,可通过Heapster汇总整个集群节点资源数据,然后存储到InfluxDB时序数据库,再由Grafana展示
提供认证和授权:支持属性访问控制(ABAC),角色访问控制(RBAC)认证授权策略。
1.4. 基本对象:
Pod:Pod是最小部署单元,一个Pod有一个或多个容器组成,Pod中容器共享存储和网络,在同一台Docker主机上运行。
Service:Service一个应用服务抽象,定义了Pod逻辑集合和访问这个Pod集合的策略。
Service代理Pod集合对外表现是为一个访问,分配一个集群IP地址,来自这个IP的请求将负载均衡转发后端Pod中的容器。
Service通过Lable Selector选择一组Pod提供服务。
Volume:数据卷、共享Pod中容器使用的数据
Namespace:命名空间将对象逻辑上分配到不用Namespace,可以是不同的项目、用户等区分管理,并设定控制策略、从而实现多用户。
命名空间也成为虚拟集群。
Lable:标签见用于区分对象(比如Pod、Service),键值对存在,每个对象可以有多个标签,通过标签关联对象。
1.5. 基于基本对象更高层次抽象:
ReplicaSet:下一代Replication Controller,确保任何给定时间制定的Pod副本数量,并提供声明式更新等功能。
RC与RS唯一区别就是Lable selector支持不同,RS支持新的基于集合的标签,RC仅支持基于等式的标签。
Deployment:Deployment是一个更高层次的API对象,它管理ReplicaSets和Pod,并提供声明式更新等功能。
官方建议使用Deployment管理ReplicaSets,而不是直接使用ReplicaSets,这就意味着可能永远不需要直接操作ReplicaSet对象
StatefulSet:StatefulSet适合持久性的应用程序、有唯一的网络标识符(IP),持久存储,有序的部署、扩展、删除和滚动更新。
DaemonSet:DaemonSet确保所有(或一些)节点运行同一个Pod,当节点加入Kubernetes集群中、Pod会被调度到该节点上运行,当节点从集群中移除时,Daemon的Pod会被删除,删除DaemonSet会清理它所有创建的Pod。
Job:一次性任务,运行完成后Pod摧毁,不再重新启动新容器,还可以任务定时运行
2. 环境:
2.1. 架构图(有工夫再画)
2.2.机器列表
功能与组件 | 机器名 | Public IP/Admin IP | Private IP | Processor Cores | RAM | Storage | 备注 |
Ansible/DNS/IDM | services | 10.210.55.220 | 172.16.0.220 | 1U | 2G | 20G | |
KubernetesMaster/etcd/CephMonitor | master1 | 10.210.55.221 | 172.16.0.221 | 2U | 4G | 40G | |
KubernetesMaster/etcd/CephMonitor | master2 | 10.210.55.222 | 172.16.0.222 | 2U | 4G | 40G | |
KubernetesMaster/etcd/CephMonitor | master3 | 10.210.55.223 | 172.16.0.223 | 2U | 4G | 40G | |
Docker/Kubernetes node节点 | node1 | 10.210.55.224 | 172.16.0.224 | 4U | 16G | 64G | |
Docker/Kubernetes node节点 | node2 | 10.210.55.225 | 172.16.0.225 | 4U | 16G | 64G | |
CephBlock | block1 | 10.210.55.226 | 172.16.0.226 | 1U | 2G | 20G+10G*4 | |
CephBlock | block2 | 10.210.55.227 | 172.16.0.227 | 1U | 2G | 20G+10G*4 | |
nginx/consul | nginx1 | 10.210.55.228 | 172.16.0.228 | 1U | 2G | 20G | |
nginx/consul | nginx2 | 10.210.55.229 | 172.16.0.229 | 1U | 2G | 20G |
2.3. OS:Red Hat Enterprise Linux Server release 7.5 (Maipo)
2.4. kernel:3.10.0-862.11.6.el7.x86_64
3. 安装
3.1. 操作系统(略)
3.2. 配置yum源,需要配置base和epel源,如果有订阅是最好,没有订阅就选用CentOS,本次使用的是aliyun的epel