横向(节点) 节点1----------节点2-----------节点3
| | |
磁盘1 磁盘1 磁盘1
磁盘2 磁盘2 磁盘2 纵向(磁盘)
磁盘3 磁盘3 磁盘3
磁盘4 磁盘4 磁盘4
磁盘5 磁盘5 磁盘5
1、在新节点上安装ceph软件包，保证和ceph集群的软件版本一致
2、列出新节点上所有可用磁盘(格式化，起进程)
3、将新节点上的磁盘加入到ceph集群
4、查看集群存储容量、OSD tree查看加入新的OSD
5、当有新节点加入集群，Ceph集群开始将部分现有数据重新平衡到新加入的OSD上
注：
生产环境中，一般不会在新节点加入ceph集群后，立即开始数据回填，这样会影响集群性能。所以我们需要设置一些标志位，来完成这个目的。
#ceph osd set noin
#ceph osd set nobackfill
在用户访问的非高峰时，取消这些标志位，集群开始在平衡任务。
#ceph osd unset noin
#ceph osd unset nobackfill