IBM存储硬盘故障信息：
1、一台IBM DS5300的存储，一个机头，连接的4个扩展柜，底层是50块600GB的硬盘组的RAID。
2、两组RAID5，其中一组RAID崩溃，这组RAID由27块600G硬盘组成，存放是Oracle 数据库文件，在存储系统上层一共分了11个卷，卷大小为1TB有10个，一个为4TB。
IBM存储硬盘检测分析：
工程师先对用户的27块硬盘做了硬件检测，发现用户的2块硬盘出现坏道、SMART的错误冗余级别已经超过阀值，对25块正常的硬盘进行全盘镜像，对2块有坏道的硬盘用硬件工具进行了恢复并生成镜像文件。
IBM存储故障分析：
首先收集IBM DS5300存储日志信息。从存储上硬盘的指示灯看到有两块盘亮黄灯，对收集到的日志信息进行分析，分析两块硬盘的掉线时间，从而知道那块硬盘里面的数据是最新，用数据最新的硬盘进行数据恢复。
IBM存储故障解决方案：
1、通过IBM DS存储管理软件进行强制上线，在强制上线之前把存储的所有硬盘都进行备份，之后进行强制上线。
2、通过对硬盘底层数据分析，进行RAID重组，从底层提取数据，重新加载oracle数据库，调试上层应用。
IBM存储故障实施方案：
已经把存储的所有硬盘都进行过备份，出现问题也可以进行还原，所以先采用第一种解决方案，先在模拟器上进行测试，之后再存储上进行上线操作。
通过IBM DS存储管理软件进行强制上线，强制上线之后raid处于降级状态，这个时候设置好热备盘，让热备盘顶上，进行数据同步，同步完之后上层的卷直接可以用了，所有数据也都可见了，上层应用也能正常使用。
IBM存储故障数据恢复结果：
由于上层的卷直接可以用，所以数据也都可见，但是由于涉及数据安全问题，我们将卷里的文件都拷贝出来，然后移交给客户。经用户验收数据无误，至此数据恢复工作结束。