好久没写随笔了,6月份趁着在公司没有太忙的事儿,把公司的服务器进行了虚拟化,采用的openstack当前的容器化方案kolla。
整体安装完的感受时,小白感觉自己是个大牛!哈哈,开玩笑,由于以前是开发虚拟化软件的,所以对虚拟化相关概念比较熟悉,安装起来比普通的开发人员要顺手一下。下面记录一下安装的流程。
首先,感谢openstack基金会推出的kolla解决方案,基于容器化的解决方案,让我们更加便捷的实现服务器资源的虚拟化,不过我并不能确保节点过多(具体数量我也不确认,不过有安装50节点的介绍,说也没太大问题)的话,是否会有意想不到的问题,只能大家自己去测试。我的安装环境当前是3个节点。
==================================================
其次,特别的感谢九州云的陈沙克老师的文章,地址如下:
http://www.chenshake.com/kolla-installation/
陈老师的文章简明扼要的指出了安装kolla时,需要注意的点以及安装的流程与相关包,大家如果安装单节点测试,可以根据陈老师的文字进行。
==================================================
其实多节点的安装,跟单节点的安装没有太大区别,最终我得到的经验是网络的规划是至关重要的,kolla当前能够支持节点的拓展,要规划好网络。
安装环境介绍:
1)三台物理机均使用三块网卡,一块网卡虚拟机内部网络使用(配置ip),一块网卡做浮动ip(不要配置ip,要记得启用),一块网卡单独给api服务使用。
2)三台物理机,一台做控制节点与网络节点,另外两台做计算与存储。注意:控制节点需要为奇数个,否则容易出现脑裂。
剩下的为软件包的安装,下面摘录自陈老师的文章:
各节点均做一下的配置:
- 关闭Selinux
- 关闭Firewalld
- 关闭NetworkManager
- 设置hostname FQDN,让机器可以通过hostname进行互相访问,统一 /etc/hosts文件
- 同步时间,先确保时间是基本一致,和硬件也统一时间
- 设置docker registry 服务器位置,设置不安全的访问。
- 检查机器是否支持KVM
- 设置docker源,安装docker 1.12.5
- 设置访问私有的registry 源
- 打开Docker 的 shared mount 功能
- 设置网卡,网络,符合部署需求。如果需要bonding,需要把bonding做好。
- 对于要部署Ceph的节点的磁盘,进行打标签
- 检查网络,重点,确保装好后,网络功能正常。
在控制节点,我们需要做的工作,
- 关闭Selinux
- 关闭Firewalld
- 关闭NetworkManager
- 设置hostname FQDN,让机器可以通过hostname进行互相访问,统一 /etc/hosts文件
- 同步时间,先确保时间是基本一致,和硬件也统一时间
- 设置docker源,安装docker 1.12.5
全面6条,都是相同的,不同的是需要在控制节点做如下操作:
- 搭建私有的registry服务器,存放build好的OpenStack Docker镜像
- 安装ansible
- 部署kolla-ansible
- 如果你愿意,可以把docker服务安装在单独的节点,kolla安装节点配置服务地址即可。
安装完毕后有几个问题可能会碰到:
1、如果逻辑卷创建失败,可能是iscsi服务未找到,这时cinder_conf中添加如下配置:
iscsi_ip_prefix=192.168.1
iscsi_ip_address=192.168.1.1
根据实际环境配置。
2、出现了tgtd容器占用空间较大的情况,具体原因我扔在分析。 前期预留足够的空间给docker使用。
问题原因已经找到, 解决方式如下:
1)docker inspect tgtd 查看容器详细信息, 查找参数LOGPATH
2) 进入到logpath目录,du -sh *查看日志大小
3) cat /dev/null > LOGPATH 清理日志,释放空间。
不过这也是暂时的解决方案,这个地方应该是kolla启动docker容器时,--log-driver参数没有置为none,导致日志输出量如此大。我会再找时间研究一下。
3、docker安装后,建议对相关配置进行优化,包括docker最大占用空间值等,防止docker占用太多空间。
目前服务已经运行了19个多月,相对比较稳定。