Ceph之PG数调整

目录

• 1. PG介绍
• 2. 计算PG数
• 3. 修改PG和PGP
• 4. 集群扩容对PG分布的影响

1. PG介绍

PG, Placement Groups。CRUSH先将数据分解成一组对象，然后根据对象名称、复制级别和系统中的PG数等信息执行散列操作，再将结果生成PG ID。可以将PG看做一个逻辑容器，这个容器包含多个对象，同时这个逻辑对象映射之多个OSD上。
如果没有PG，在成千上万个OSD上管理和跟踪数百万计的对象的复制和传播是相当困难的。没有PG这一层，管理海量的对象所消耗的计算资源也是不可想象的。建议每个OSD上配置50~100个PG。

2. 计算PG数

一般的，

Ceph集群中的PG总数：

PG总数 = (OSD总数 * 100) / 最大副本数

** 结果必须舍入到最接近的2的N次方幂的值。

Ceph集群中每个pool中的PG总数：

存储池PG总数 = (OSD总数 * 100 / 最大副本数) / 池数

平衡每个存储池中的PG数和每个OSD中的PG数对于降低OSD的方差、避免速度缓慢的恢复再平衡进程是相当重要的。

3. 修改PG和PGP

PGP是为了实现定位而设置的PG，它的值应该和PG的总数(即pg_num)保持一致。对于Ceph的一个pool而言，如果增加pg_num，还应该调整pgp_num为同样的值，这样集群才可以开始再平衡。
参数pg_num定义了PG的数量，PG映射至OSD。当任意pool的PG数增加时，PG依然保持和源OSD的映射。直至目前，Ceph还未开始再平衡。此时，增加pgp_num的值，PG才开始从源OSD迁移至其他的OSD，正式开始再平衡。PGP，Placement Groups of Placement。

1.获取现有的PG数和PGP数值：

ceph osd pool get data pg_num
ceph osd pool get data pgp_num

2.检查存储池的副本数或纠删码配置

ceph osd dump|greo -i size
纠删码池的 size 即为k+m

3.计算pg_num和pgp_num

# pg_num calculation
pg_num = (num_osds * 100) / num_copies
num_up = pow(2, int(log(pg_num,2) + 0.5))
num_down = pow(2, int(log(pg_num,2)))
if abs(pg_num - num_up) <= abs(pg_num - num_down):
    pg_num = num_up
else:
    pg_num = num_down
pgp_num = pg_num

4.修改存储池的PG和PGP

ceph osd pool set data pg_num <pg_num>
ceph osd pool set data pgp_num <pgp_num>

5.同样，修改另外两个存储池：metadata和rbd的PG和PGP

4. 集群扩容对PG分布的影响

场景数据迁移流程：

扩容前 3 个 OSD, 4 个 PG
扩容后 4 个 OSD, 4 个 PG

扩容前：

扩容后：