一次棘手的rootvg更换硬盘处理过程
事件起因
下午接到现场工程师电话，一台双系统抽屉IBM P570一个笼子掉了，经过排查电源坏了，经过各种折腾最后修复好了，但是发现rootvg的hdisk1掉了。经过检查，这台小机共有两块本地盘，每个系统抽屉1个，做了rootvg的镜像，现在来看，下面系统抽屉的硬盘损坏，连故障灯都不亮了。工程师反馈，损坏的硬盘无法删除。
事件处理
初次处理
- 当时第一反应，直接按PVID删除，告知工程师闪存命令，反馈依然无法删除。
- 远程登陆系统，经查询，存在大量的stale pp
- 执行lsvg –p rootvg，提示odm里找不到旧磁盘了
- 尝试通过rmlvcopy做了一下删除镜像的操作，估计没啥希望，结果提示报空间故障
- 检查/tmp空间，发现不足，清理空间
删除多余空间后正常 
- 再次尝试rmlvcopy，依然报错，看报错，还是odm里已经没有了旧pv的信息，无法删除成功
- 执行synclvodm 命令，同步信息，提示同步成功
- 但再次执行查询命令，依然报错，抓狂啊
- unmirror和reducevg当然也不行了
又回到了起点
再次分析
反推一下：
更换磁盘需要先解镜像---解镜像提示旧pv不在odm---synclvodm无法同步信息到odm
也就是说，必须要先解决0516-304的报错才可以往下走，但老pvid的信息又回不去，那怎么办？
自己创造一个吧
再次处理
- 告知工程师将坏盘拔了，换上新硬盘，扫描识别
- 确认坏盘的信息
- 通过bc命令，解构出坏盘PVID的八进制格式。
- 将坏盘的PVID数值强制写入新盘，发现暂时没变化
- 删除hdisk1重新识别后，pvid变成了以前的pvid
-
再次执行umirrorvg依然会失败，但是odm中已经有了旧pvid信息，这就好办了
-
查看rootvg的相关信息，虽然也异常，但已经不报0536-304的报错了
- 重新将hdisk1加入rootvg，可以看到，会出现2个hdisk1并存的情况，不用管它
- 执行unmirrorvg解镜像，报着错成功了，hdisk1的分布发生了变化，lv的镜像也解除了，虽然还是出现了2个hdisk1，不过暂时可以不用管他。
- 直接执行reducevg，报着错成功了，根据我们的操作，可以忽略报错。最后可以看到删除成功了。
- 后面就比较简单了，加盘，做镜像，生成引导，改引导顺序，一起都做了，不截图了。 bosboot -ad hdisk0 chdev -l hdisk1 -a pv=clear extendvg rootvg hdisk1 mirrorvg -c 2 rootvg hdisk0 hdisk1 bosboot -ad hdisk1 bootlist -m normal hdisk0 hdisk1
总结
每次问题的处理都是对基础知识的考验。只要坚信“问题总是可以解决的”，找到合适的切入点，终归会找到合适的解决方法。