简介
首先需要说明的是，ceph的osd是不建议做成raid10或者raid5的，一般建议单盘跑。在我们的环境中，为了充分利用raid卡的缓存，即使是单盘，我们还是将其挂在raid卡下做成raid0。
这样不可避免的问题就是磁盘的损坏，需要在ceph当中做一些摘除动作，同时还需要重建raid。
在更换完磁盘重建raid之后，需要重新添加osd。新的osd加入到集群后，ceph还会自动进行数据恢复和回填的过程。我们还需要通过调整一些数据恢复和回填的参数来控制其恢复速度。
下面是详细的说明。
更换OSD操作步骤
1. 故障磁盘定位
一般来讲，通过硬件监控，我们能感知到磁盘故障。但是故障的磁盘对应于系统中的哪一个盘符却没法知道。
我们可以通过检查dmesg日志来确认：
[4814427.336053] print_req_error: 5 callbacks suppressed[]
[4814427.336055] print_req_error: I/O error, dev sdj, sector 0
[4814427.337422] sd 0:2:5:0: [sdj] tag#0 FAILED Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
[4814427.337432] sd 0:2:5:0: [sdj] tag#0 CDB: Read(10) 28 00 00 00 00 00 00 00 08 00
[4814427.337434] print_req_error: I/O error, dev sdj, sector 0
[4814427.338901] buffer_io_error: 4 callbacks suppressed
[4814427.338904] Buffer I/O error on dev sdj, logical block 0, async page read
[4814749.780689] sd 0:2:5:0: [sdj] tag#0 FAILED Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
[4814749.780694] sd 0:2:5:0: [sdj] tag#0 CDB: Read(10) 28 00 00 00 00 00 00 00 08 00
[4814749.780697] print_req_error: I/O error, dev sdj, sector 0
[4814749.781903] sd 0:2:5:0: [sdj] tag#0 FAILED Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
[4814749.781905] sd 0:2:5:0: [sdj] tag#0 CDB: Read(10) 28 00 00 00 00 00 00 00 08 00
[4814749.781906] print_req_error: I/O error, dev sdj, sector 0
[4814749.783105] Buffer I/O error on dev sdj, logical block 0, async page read
在我们的日志当中，可以看到，故障盘是/dev/sdj
接着，我们需要确认/dev/sdj对应的osd，在ceph L版本中，默认使用了bluestore，挂载变成了如下方式：
root@ctnr:~# df -hT
Filesystem Type Size Used Avail Use% Mounted on
...
tmpfs tmpfs 63G 48K 63G 1% /var/lib/ceph/osd/ceph-2
tmpfs tmpfs 63G 48K 63G 1% /var/lib/ceph/osd/ceph-3
tmpfs tmpfs 63G 48K 63G 1% /var/lib/ceph/osd/ceph-5
tmpfs tmpfs 63G 48K 63G 1% /var/lib/ceph/osd/ceph-6
tmpfs tmpfs 63G 48K 63G 1% /var/lib/ceph/osd/ceph-7
tmpfs tmpfs 63G 48K 63G 1% /var/lib/ceph/osd/ceph-8
所以没有办法通过这种方式直接查看到某个osd对应的磁盘。
可通过如下操作查看每块磁盘对应的lvm：
root@ctnr:~# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sdf 8:80 0 1.8T 0 disk
└─ceph--295361e9--45ed--4f85--be6a--a3eb06ba8341-osd--block--e2e485b7--65c0--49ad--a37c--24eaefbc3343 253:4 0 1.8T 0 lvm
sdd 8:48 0 1.8T 0 disk
└─ceph--20b494d7--bcd0--4f60--bee0--900edd843b26-osd--block--620cf64c--e76a--44d4--b308--87a0e78970cb 253:2 0 1.8T 0 lvm
sdb 8:16 0 1.8T 0 disk
└─ceph--1c9e3474--e080--478c--aa50--d9e2cc9900e1-osd--block--33dccd23--a7c4--416d--8a22--1787f98c243f 253:0 0 1.8T 0 lvm
sdk 8:160 0 476.4G 0 disk
└─ceph--a3f4913b--d3e1--4c51--9d4d--87340e1d4271-osd--block--f9d7958b--8a66--41e4--8964--8e5cb95e6d09 253:9 0 476.4G 0 lvm
sdg 8:96 0 1.8T 0 disk
└─ceph--36092d1e--4e85--49a1--8378--14b432d1c3d0-osd--block--9da0cba0--0a12--4e32--bed6--438f4db71e69 253:5 0 1.8T 0 lvm
sde 8:64 0 1.8T 0 disk
└─ceph--a21e1b26--0c40--4a36--b6ad--39a2b9920fe7-osd--block--b55e0ccd--cd1e--4067--9299--bb709e64765b 253:3 0 1.8T 0 lvm
sdc 8:32 0 1.8T 0 disk
└─ceph--5ac4fc0f--e517--4a0b--ba50--586707f582b4-osd--block--ab1cb37e--6612--4d18--a045--c2375af9012c 253:1 0 1.8T 0 lvm
sda 8:0 0 3.7T 0 disk
├─sda2 8:2 0 279.4G 0 part /
├─sda3 8:3 0 3.4T 0 part /home
└─sda1 8:1 0 1M 0 part
sdj 8:144 0 476.4G 0 disk
└─ceph--9c93296c--ff24--4ed7--8227--eae40dda38fc-osd--block--5ea3c735--3770--4b42--87aa--12bbe9885bdb 253:8 0 476.4G 0 lvm
然后通过如下操作查看所有osd对应的lvm：
root@ctnr:~# ll /var/lib/ceph/osd/ceph-*/block
lrwxrwxrwx 1 ceph ceph 93 Jun 18 18:49 /var/lib/ceph/osd/ceph-10/block -> /dev/ceph-a3f4913b-d3e1-4c51-9d4d-87340e1d4271/osd-block-f9d7958b-8a66-41e4-8964-8e5cb95e6d09
lrwxrwxrwx 1 ceph ceph 93 Mar 18 18:18 /var/lib/ceph/osd/ceph-2/block -> /dev/ceph-1c9e3474-e080-478c-aa50-d9e2cc9900e1/osd-block-33dccd23-a7c4-416d-8a22-1787f98c243f
lrwxrwxrwx 1 ceph ceph 93 Mar 18 18:19 /var/lib/ceph/osd/ceph-3/block -> /dev/ceph-5ac4fc0f-e517-4a0b-ba50-586707f582b4/osd-block-ab1cb37e-6612-4d18-a045-c2375af9012c
lrwxrwxrwx 1 ceph ceph 93 Mar 18 18:19 /var/lib/ceph/osd/ceph-5/block -> /dev/ceph-20b494d7-bcd0-4f60-bee0-900edd843b26/osd-block-620cf64c-e76a-44d4-b308-87a0e78970cb
lrwxrwxrwx 1 ceph ceph 93 Mar 18 18:20 /var/lib/ceph/osd/ceph-6/block -> /dev/ceph-a21e1b26-0c40-4a36-b6ad-39a2b9920fe7/osd-block-b55e0ccd-cd1e-4067-9299-bb709e64765b
lrwxrwxrwx 1 ceph ceph 93 Mar 18 18:20 /var/lib/ceph/osd/ceph-7/block -> /dev/ceph-295361e9-45ed-4f85-be6a-a3eb06ba8341/osd-block-e2e485b7-65c0-49ad-a37c-24eaefbc3343
lrwxrwxrwx 1 ceph ceph 93 Mar 18 18:21 /var/lib/ceph/osd/ceph-8/block -> /dev/ceph-36092d1e-4e85-49a1-8378-14b432d1c3d0/osd-block-9da0cba0-0a12-4e32-bed6-438f4db71e69
lrwxrwxrwx 1 ceph ceph 93 Jun 18 18:49 /var/lib/ceph/osd/ceph-9/block -> /dev/ceph-9c93296c-ff24-4ed7-8227-eae40dda38fc/osd-block-5ea3c735-3770-4b42-87aa-12bbe9885bdb
通过对比lvm的名称，即可确定故障磁盘对应的osd
2. 摘除故障磁盘
通过上面的方法确认故障磁盘及其对应的osd后，我们需要执行相应的摘除操作：
- 从ceph中删除相应的osd
# 在monitor上操作
ceph osd out osd.9
# 在相应的节点机上停止服务
ceph stop ceph-osd@9
# 在monitory上操作
ceph osd crush remove osd.9
ceph auth del osd.9
ceph osd rm osd.9
- 卸载磁盘
umount /var/lib/ceph/osd/ceph-9
3. 重建raid0
重建raid需要依赖mega工具包，下面是ubuntu上安装的示例：
wget -O - http://hwraid.le-vert.net/debian/hwraid.le-vert.net.gpg.key | sudo apt-key add -
echo "deb http://hwraid.le-vert.net/ubuntu precise main" >> /etc/apt/sources.list
apt-get update
apt-get install megacli megactl megaraid-status
查看raid状态：
megacli -PDList -aALL | egrep 'Adapter|Enclosure|Slot|Inquiry|Firmware'
Adapter #0
...
Enclosure Device ID: 32
Slot Number: 9
Enclosure position: 1
Firmware state: Online, Spun Up
Device Firmware Level: GS0F
Inquiry Data: SEAGATE ST2000NM0023 GS0FZ1X2Q5P6
Enclosure Device ID: 32
Slot Number: 10
Enclosure position: 1
Firmware state: Unconfigured(good), Spun Up
Device Firmware Level: 004C
Inquiry Data: PHLA914001Y6512DGN INTEL SSDSC2KW512G8 LHF004C
相关说明：
- Adapter：代表raid控制器编号
- Enclosure Device ID：硬盘盒id
- Slot Number：插槽编号
- Firmware state：固件的状态。
Online, SpunUP代表正常状态，Unconfigured(good), Spun Up代表非正常状态
我们需要对非正常状态的磁盘重建raid：
# 对硬盘盒id为32、插槽号为10的硬盘做raid0
root@ctnr:~# megacli -CfgLdAdd -r0'[32:10]' -a0
Adapter 0: Created VD 7
Adapter 0: Configured the Adapter!!
这个时候再通过fdisk -l就可以看到新添加的磁盘了
fdisk -l
...
Disk /dev/sdj: 476.4 GiB, 511503761408 bytes, 999030784 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
4. 重建osd
ceph-deploy disk list ctnr.a1-56-14.pub.unp
ceph-deploy disk zap ctnr.a1-56-14.pub.unp /dev/sdj
ceph-deploy osd create --data /dev/sdj ctnr.a1-56-14.pub.unp
控制数据恢复及回填速度
# 将用于数据恢复操作的优先级提到最高级别
ceph tell osd.* injectargs "--osd_recovery_op_priority=63"
# 将用于client I/O操作的优先级降到3
ceph tell osd.* injectargs "--osd_client_op_priority=3"
# 将每个osd上用于回填并发操作数由默认的1调整到50
ceph tell osd.* injectargs "--osd_max_backfills=50"
# 将每个osd上用于恢复的并发操作数由默认的3调整到50
ceph tell osd.* injectargs "--osd_recovery_max_active=50"
# 将每个osd上用于执行恢复的线程数由默认的1调整到10
ceph tell osd.* injectargs "--osd_recovery_threads=10"
注意：以上所有操作都是为了尽快恢复数据，在数据恢复完成以后，需要再调整回来，如果在恢复过程中仍然需要优先保证client服务质量，可不做相关调整，保持默认值即可