如何修复failed磁盘和"DISABLED RECOVER"状态的plex

系统由于链路问题导致部分Veritas磁盘变成failed状态，卷中的镜像plex变为"DISABLED NODEVICE"状态。

#> vxdisk list
DEVICE       TYPE            DISK         GROUP        STATUS
AMS_WMS0_0   auto:cdsdisk    OCS_DATA_DG01  OCS_DATA_DG  online
AMS_WMS0_1   auto:simple     OCS_DATA_DG03  OCS_DATA_DG  online
AMS_WMS1_0   auto:cdsdisk    -            -            online
AMS_WMS1_1   auto            -            -            error
Disk_0       auto:none       -            -            online invalid
Disk_1       auto:none       -            -            online invalid
-            -         OCS_DATA_DG02 OCS_DATA_DG  failed was:AMS_WMS1_0
-            -         OCS_DATA_DG04 OCS_DATA_DG  failed was:AMS_WMS1_1
#> vxprint -hrvt
Disk group: OCS_DATA_DG

ST NAME         STATE        DM_CNT   SPARE_CNT         APPVOL_CNT
DM NAME         DEVICE       TYPE     PRIVLEN  PUBLEN   STATE
RV NAME         RLINK_CNT    KSTATE   STATE    PRIMARY  DATAVOLS  SRL
RL NAME         RVG          KSTATE   STATE    REM_HOST REM_DG    REM_RLNK
CO NAME         CACHEVOL     KSTATE   STATE
VT NAME         RVG          KSTATE   STATE    NVOLUME
V  NAME         RVG/VSET/CO  KSTATE   STATE    LENGTH   READPOL   PREFPLEX UTYPE
PL NAME         VOLUME       KSTATE   STATE    LENGTH   LAYOUT    NCOL/WID MODE
SD NAME         PLEX         DISK     DISKOFFS LENGTH   [COL/]OFF DEVICE   MODE
SV NAME         PLEX         VOLNAME  NVOLLAYR LENGTH   [COL/]OFF AM/NM    MODE
SC NAME         PLEX         CACHE    DISKOFFS LENGTH   [COL/]OFF DEVICE   MODE
DC NAME         PARENTVOL    LOGVOL
SP NAME         SNAPVOL      DCO
EX NAME         ASSOC        VC                       PERMS    MODE     STATE

dm OCS_DATA_DG01 AMS_WMS0_0  auto     65536    104758320 -
dm OCS_DATA_DG02 -           -        -        -        NODEVICE
dm OCS_DATA_DG03 AMS_WMS0_1  auto     65536    419311008 -
dm OCS_DATA_DG04 -           -        -        -        NODEVICE

v  OCS_DATA_1   -            ENABLED  ACTIVE   94371840 SELECT    -        fsgen
pl OCS_DATA_1-01 OCS_DATA_1  ENABLED  ACTIVE   94371840 CONCAT    -        RW
sd OCS_DATA_DG01-01 OCS_DATA_1-01 OCS_DATA_DG01 0 94371840 0      AMS_WMS0_0 ENA
pl OCS_DATA_1-02 OCS_DATA_1  DISABLED NODEVICE 94371840 CONCAT    -        RW
sd OCS_DATA_DG02-02 OCS_DATA_1-02 OCS_DATA_DG02 6896 94371840 0   -        RLOC
dc OCS_DATA_1_dco OCS_DATA_1 OCS_DATA_1_dcl
v  OCS_DATA_1_dcl -          ENABLED  ACTIVE   13248    SELECT    -        gen
pl OCS_DATA_1_dcl-01 OCS_DATA_1_dcl ENABLED ACTIVE 13248 CONCAT   -        RW
sd OCS_DATA_DG01-02 OCS_DATA_1_dcl-01 OCS_DATA_DG01 94371840 13248 0 AMS_WMS0_0 ENA

v  OCS_DATA_2   -            ENABLED  ACTIVE   417333248 SELECT   -        fsgen
pl OCS_DATA_2-01 OCS_DATA_2  ENABLED  ACTIVE   417333248 CONCAT   -        RW
sd OCS_DATA_DG03-01 OCS_DATA_2-01 OCS_DATA_DG03 0 417333248 0     AMS_WMS0_1 ENA
pl OCS_DATA_2-02 OCS_DATA_2  DISABLED NODEVICE 417333248 CONCAT   -        RW
sd OCS_DATA_DG04-01 OCS_DATA_2-02 OCS_DATA_DG04 0 417333248 0     -        RLOC

1. 修复failed disk

链路恢复后，重新扫描磁盘并执行reattach即可修复failed disk.

#> vxdctl enable
#> vxdisk list
DEVICE       TYPE            DISK         GROUP        STATUS
AMS_WMS0_0   auto:cdsdisk    OCS_DATA_DG01  OCS_DATA_DG  online
AMS_WMS0_1   auto:simple     OCS_DATA_DG03  OCS_DATA_DG  online
AMS_WMS1_0   auto:cdsdisk    -            -            online
AMS_WMS1_1   auto:simple     -            -            online
Disk_0       auto:none       -            -            online invalid
Disk_1       auto:none       -            -            online invalid
-            -         OCS_DATA_DG02 OCS_DATA_DG  failed was:AMS_WMS1_0
-            -         OCS_DATA_DG04 OCS_DATA_DG  failed was:AMS_WMS1_1
#> vxreattach
#> vxdisk list
DEVICE       TYPE            DISK         GROUP        STATUS
AMS_WMS0_0   auto:cdsdisk    OCS_DATA_DG01  OCS_DATA_DG  online
AMS_WMS0_1   auto:simple     OCS_DATA_DG03  OCS_DATA_DG  online
AMS_WMS1_0   auto:cdsdisk    OCS_DATA_DG02  OCS_DATA_DG  online
AMS_WMS1_1   auto:simple     OCS_DATA_DG04  OCS_DATA_DG  online
Disk_0       auto:none       -            -            online invalid
Disk_1       auto:none       -            -            online invalid

磁盘修复后，卷中的plex变为"DISABLED RECOVER"状态。

#> vxprint -hrt
Disk group: OCS_DATA_DG

DG NAME         NCONFIG      NLOG     MINORS   GROUP-ID
ST NAME         STATE        DM_CNT   SPARE_CNT         APPVOL_CNT
DM NAME         DEVICE       TYPE     PRIVLEN  PUBLEN   STATE
RV NAME         RLINK_CNT    KSTATE   STATE    PRIMARY  DATAVOLS  SRL
RL NAME         RVG          KSTATE   STATE    REM_HOST REM_DG    REM_RLNK
CO NAME         CACHEVOL     KSTATE   STATE
VT NAME         RVG          KSTATE   STATE    NVOLUME
V  NAME         RVG/VSET/CO  KSTATE   STATE    LENGTH   READPOL   PREFPLEX UTYPE
PL NAME         VOLUME       KSTATE   STATE    LENGTH   LAYOUT    NCOL/WID MODE
SD NAME         PLEX         DISK     DISKOFFS LENGTH   [COL/]OFF DEVICE   MODE
SV NAME         PLEX         VOLNAME  NVOLLAYR LENGTH   [COL/]OFF AM/NM    MODE
SC NAME         PLEX         CACHE    DISKOFFS LENGTH   [COL/]OFF DEVICE   MODE
DC NAME         PARENTVOL    LOGVOL
SP NAME         SNAPVOL      DCO
EX NAME         ASSOC        VC                       PERMS    MODE     STATE
SR NAME         KSTATE

dg OCS_DATA_DG  default      default  52000    1196252223.18.ocs00biiacc001

st Clone_Pool   manual       -        -                 -      

st Data_Pool    manual       4        -                 3      
dm OCS_DATA_DG01 AMS_WMS0_0  auto     65536    104758320 -
dm OCS_DATA_DG02 AMS_WMS1_0  auto     65536    104758320 -
dm OCS_DATA_DG03 AMS_WMS0_1  auto     65536    419311008 -
dm OCS_DATA_DG04 AMS_WMS1_1  auto     65536    419311008 -

v  OCS_DATA_1   -            ENABLED  ACTIVE   94371840 SELECT    -        fsgen
pl OCS_DATA_1-01 OCS_DATA_1  ENABLED  ACTIVE   94371840 CONCAT    -        RW
sd OCS_DATA_DG01-01 OCS_DATA_1-01 OCS_DATA_DG01 0 94371840 0      AMS_WMS0_0 ENA
pl OCS_DATA_1-02 OCS_DATA_1  DISABLED RECOVER  94371840 CONCAT    -        RW
sd OCS_DATA_DG02-02 OCS_DATA_1-02 OCS_DATA_DG02 6896 94371840 0   AMS_WMS1_0 RLOC
dc OCS_DATA_1_dco OCS_DATA_1 OCS_DATA_1_dcl
v  OCS_DATA_1_dcl -          ENABLED  ACTIVE   13248    SELECT    -        gen
pl OCS_DATA_1_dcl-01 OCS_DATA_1_dcl ENABLED ACTIVE 13248 CONCAT   -        RW
sd OCS_DATA_DG01-02 OCS_DATA_1_dcl-01 OCS_DATA_DG01 94371840 13248 0 AMS_WMS0_0 ENA

v  OCS_DATA_2   -            ENABLED  ACTIVE   417333248 SELECT   -        fsgen
pl OCS_DATA_2-01 OCS_DATA_2  ENABLED  ACTIVE   417333248 CONCAT   -        RW
sd OCS_DATA_DG03-01 OCS_DATA_2-01 OCS_DATA_DG03 0 417333248 0     AMS_WMS0_1 ENA
pl OCS_DATA_2-02 OCS_DATA_2  DISABLED RECOVER  417333248 CONCAT   -        RW
sd OCS_DATA_DG04-01 OCS_DATA_2-02 OCS_DATA_DG04 0 417333248 0     AMS_WMS1_1 RLOC

2. 修复"DISABLED RECOVER"状态的plex

• 使用vxmend命令将plex设置为offline状态

#> vxmend -g OCS_DATA_DG -o force off OCS_DATA_1-02
#> vxmend -g OCS_DATA_DG -o force off OCS_DATA_2-02
#> vxprint -hrt
Disk group: OCS_DATA_DG

DG NAME         NCONFIG      NLOG     MINORS   GROUP-ID
ST NAME         STATE        DM_CNT   SPARE_CNT         APPVOL_CNT
DM NAME         DEVICE       TYPE     PRIVLEN  PUBLEN   STATE
RV NAME         RLINK_CNT    KSTATE   STATE    PRIMARY  DATAVOLS  SRL
RL NAME         RVG          KSTATE   STATE    REM_HOST REM_DG    REM_RLNK
CO NAME         CACHEVOL     KSTATE   STATE
VT NAME         RVG          KSTATE   STATE    NVOLUME
V  NAME         RVG/VSET/CO  KSTATE   STATE    LENGTH   READPOL   PREFPLEX UTYPE
PL NAME         VOLUME       KSTATE   STATE    LENGTH   LAYOUT    NCOL/WID MODE
SD NAME         PLEX         DISK     DISKOFFS LENGTH   [COL/]OFF DEVICE   MODE
SV NAME         PLEX         VOLNAME  NVOLLAYR LENGTH   [COL/]OFF AM/NM    MODE
SC NAME         PLEX         CACHE    DISKOFFS LENGTH   [COL/]OFF DEVICE   MODE
DC NAME         PARENTVOL    LOGVOL
SP NAME         SNAPVOL      DCO
EX NAME         ASSOC        VC                       PERMS    MODE     STATE
SR NAME         KSTATE

dg OCS_DATA_DG  default      default  52000    1196252223.18.ocs00biiacc001

st Clone_Pool   manual       -        -                 -      

st Data_Pool    manual       4        -                 3      
dm OCS_DATA_DG01 AMS_WMS0_0  auto     65536    104758320 -
dm OCS_DATA_DG02 AMS_WMS1_0  auto     65536    104758320 -
dm OCS_DATA_DG03 AMS_WMS0_1  auto     65536    419311008 -
dm OCS_DATA_DG04 AMS_WMS1_1  auto     65536    419311008 -

v  OCS_DATA_1   -            ENABLED  ACTIVE   94371840 SELECT    -        fsgen
pl OCS_DATA_1-01 OCS_DATA_1  ENABLED  ACTIVE   94371840 CONCAT    -        RW
sd OCS_DATA_DG01-01 OCS_DATA_1-01 OCS_DATA_DG01 0 94371840 0      AMS_WMS0_0 ENA
pl OCS_DATA_1-02 OCS_DATA_1  DISABLED OFFLINE  94371840 CONCAT    -        RW
sd OCS_DATA_DG02-02 OCS_DATA_1-02 OCS_DATA_DG02 6896 94371840 0   AMS_WMS1_0 RLOC
dc OCS_DATA_1_dco OCS_DATA_1 OCS_DATA_1_dcl
v  OCS_DATA_1_dcl -          ENABLED  ACTIVE   13248    SELECT    -        gen
pl OCS_DATA_1_dcl-01 OCS_DATA_1_dcl ENABLED ACTIVE 13248 CONCAT   -        RW
sd OCS_DATA_DG01-02 OCS_DATA_1_dcl-01 OCS_DATA_DG01 94371840 13248 0 AMS_WMS0_0 ENA

v  OCS_DATA_2   -            ENABLED  ACTIVE   417333248 SELECT   -        fsgen
pl OCS_DATA_2-01 OCS_DATA_2  ENABLED  ACTIVE   417333248 CONCAT   -        RW
sd OCS_DATA_DG03-01 OCS_DATA_2-01 OCS_DATA_DG03 0 417333248 0     AMS_WMS0_1 ENA
pl OCS_DATA_2-02 OCS_DATA_2  DISABLED OFFLINE  417333248 CONCAT   -        RW
sd OCS_DATA_DG04-01 OCS_DATA_2-02 OCS_DATA_DG04 0 417333248 0     AMS_WMS1_1 RLOC

• 使用vxmend命令将plex设置为stale状态

#> vxmend -g OCS_DATA_DG on OCS_DATA_1-02
#> vxmend -g OCS_DATA_DG on OCS_DATA_2-02
#> vxprint -hrt
Disk group: OCS_DATA_DG

DG NAME         NCONFIG      NLOG     MINORS   GROUP-ID
ST NAME         STATE        DM_CNT   SPARE_CNT         APPVOL_CNT
DM NAME         DEVICE       TYPE     PRIVLEN  PUBLEN   STATE
RV NAME         RLINK_CNT    KSTATE   STATE    PRIMARY  DATAVOLS  SRL
RL NAME         RVG          KSTATE   STATE    REM_HOST REM_DG    REM_RLNK
CO NAME         CACHEVOL     KSTATE   STATE
VT NAME         RVG          KSTATE   STATE    NVOLUME
V  NAME         RVG/VSET/CO  KSTATE   STATE    LENGTH   READPOL   PREFPLEX UTYPE
PL NAME         VOLUME       KSTATE   STATE    LENGTH   LAYOUT    NCOL/WID MODE
SD NAME         PLEX         DISK     DISKOFFS LENGTH   [COL/]OFF DEVICE   MODE
SV NAME         PLEX         VOLNAME  NVOLLAYR LENGTH   [COL/]OFF AM/NM    MODE
SC NAME         PLEX         CACHE    DISKOFFS LENGTH   [COL/]OFF DEVICE   MODE
DC NAME         PARENTVOL    LOGVOL
SP NAME         SNAPVOL      DCO
EX NAME         ASSOC        VC                       PERMS    MODE     STATE
SR NAME         KSTATE

dg OCS_DATA_DG  default      default  52000    1196252223.18.ocs00biiacc001

st Clone_Pool   manual       -        -                 -      

st Data_Pool    manual       4        -                 3      
dm OCS_DATA_DG01 AMS_WMS0_0  auto     65536    104758320 -
dm OCS_DATA_DG02 AMS_WMS1_0  auto     65536    104758320 -
dm OCS_DATA_DG03 AMS_WMS0_1  auto     65536    419311008 -
dm OCS_DATA_DG04 AMS_WMS1_1  auto     65536    419311008 -

v  OCS_DATA_1   -            ENABLED  ACTIVE   94371840 SELECT    -        fsgen
pl OCS_DATA_1-01 OCS_DATA_1  ENABLED  ACTIVE   94371840 CONCAT    -        RW
sd OCS_DATA_DG01-01 OCS_DATA_1-01 OCS_DATA_DG01 0 94371840 0      AMS_WMS0_0 ENA
pl OCS_DATA_1-02 OCS_DATA_1  DISABLED STALE    94371840 CONCAT    -        RW
sd OCS_DATA_DG02-02 OCS_DATA_1-02 OCS_DATA_DG02 6896 94371840 0   AMS_WMS1_0 RLOC
dc OCS_DATA_1_dco OCS_DATA_1 OCS_DATA_1_dcl
v  OCS_DATA_1_dcl -          ENABLED  ACTIVE   13248    SELECT    -        gen
pl OCS_DATA_1_dcl-01 OCS_DATA_1_dcl ENABLED ACTIVE 13248 CONCAT   -        RW
sd OCS_DATA_DG01-02 OCS_DATA_1_dcl-01 OCS_DATA_DG01 94371840 13248 0 AMS_WMS0_0 ENA

v  OCS_DATA_2   -            ENABLED  ACTIVE   417333248 SELECT   -        fsgen
pl OCS_DATA_2-01 OCS_DATA_2  ENABLED  ACTIVE   417333248 CONCAT   -        RW
sd OCS_DATA_DG03-01 OCS_DATA_2-01 OCS_DATA_DG03 0 417333248 0     AMS_WMS0_1 ENA
pl OCS_DATA_2-02 OCS_DATA_2  DISABLED STALE    417333248 CONCAT   -        RW
sd OCS_DATA_DG04-01 OCS_DATA_2-02 OCS_DATA_DG04 0 417333248 0     AMS_WMS1_1 RLOC

• reattach stale plex

#> vxplex -g OCS_DATA_DG att OCS_DATA_1 OCS_DATA_1-02 &
[1] 22533
#> vxplex -g OCS_DATA_DG att OCS_DATA_2 OCS_DATA_2-02 &
[2] 22984
#> vxtask list
TASKID  PTID TYPE/STATE    PCT   PROGRESS
22797           ATCOPY/R 01.54% 0/94371840/1456128 PLXATT OCS_DATA_1 OCS_DATA_1-02 OCS_DATA_DG
22798           ATCOPY/R 00.06% 0/417333248/241664 PLXATT OCS_DATA_2 OCS_DATA_2-02 OCS_DATA_DG

同步完成后，系统恢复正常。

#> vxdisk list
DEVICE       TYPE            DISK         GROUP        STATUS
AMS_WMS0_0   auto:cdsdisk    OCS_DATA_DG01  OCS_DATA_DG  online
AMS_WMS0_1   auto:simple     OCS_DATA_DG03  OCS_DATA_DG  online
AMS_WMS1_0   auto:cdsdisk    OCS_DATA_DG02  OCS_DATA_DG  online
AMS_WMS1_1   auto:simple     OCS_DATA_DG04  OCS_DATA_DG  online
Disk_0       auto:none       -            -            online invalid
Disk_1       auto:none       -            -            online invalid
c1t0d0s2     auto            -            -            error
#> vxprint -hrt
Disk group: OCS_DATA_DG

DG NAME         NCONFIG      NLOG     MINORS   GROUP-ID
ST NAME         STATE        DM_CNT   SPARE_CNT         APPVOL_CNT
DM NAME         DEVICE       TYPE     PRIVLEN  PUBLEN   STATE
RV NAME         RLINK_CNT    KSTATE   STATE    PRIMARY  DATAVOLS  SRL
RL NAME         RVG          KSTATE   STATE    REM_HOST REM_DG    REM_RLNK
CO NAME         CACHEVOL     KSTATE   STATE
VT NAME         RVG          KSTATE   STATE    NVOLUME
V  NAME         RVG/VSET/CO  KSTATE   STATE    LENGTH   READPOL   PREFPLEX UTYPE
PL NAME         VOLUME       KSTATE   STATE    LENGTH   LAYOUT    NCOL/WID MODE
SD NAME         PLEX         DISK     DISKOFFS LENGTH   [COL/]OFF DEVICE   MODE
SV NAME         PLEX         VOLNAME  NVOLLAYR LENGTH   [COL/]OFF AM/NM    MODE
SC NAME         PLEX         CACHE    DISKOFFS LENGTH   [COL/]OFF DEVICE   MODE
DC NAME         PARENTVOL    LOGVOL
SP NAME         SNAPVOL      DCO
EX NAME         ASSOC        VC                       PERMS    MODE     STATE
SR NAME         KSTATE

dg OCS_DATA_DG  default      default  52000    1196252223.18.ocs00biiacc001

st Clone_Pool   manual       -        -                 -      

st Data_Pool    manual       4        -                 3      
dm OCS_DATA_DG01 AMS_WMS0_0  auto     65536    104758320 -
dm OCS_DATA_DG02 AMS_WMS1_0  auto     65536    104758320 -
dm OCS_DATA_DG03 AMS_WMS0_1  auto     65536    419311008 -
dm OCS_DATA_DG04 AMS_WMS1_1  auto     65536    419311008 -

v  OCS_DATA_1   -            ENABLED  ACTIVE   94371840 SELECT    -        fsgen
pl OCS_DATA_1-01 OCS_DATA_1  ENABLED  ACTIVE   94371840 CONCAT    -        RW
sd OCS_DATA_DG01-01 OCS_DATA_1-01 OCS_DATA_DG01 0 94371840 0      AMS_WMS0_0 ENA
pl OCS_DATA_1-02 OCS_DATA_1  ENABLED  ACTIVE   94371840 CONCAT    -        RW
sd OCS_DATA_DG02-02 OCS_DATA_1-02 OCS_DATA_DG02 6896 94371840 0   AMS_WMS1_0 ENA
dc OCS_DATA_1_dco OCS_DATA_1 OCS_DATA_1_dcl
v  OCS_DATA_1_dcl -          ENABLED  ACTIVE   13248    SELECT    -        gen
pl OCS_DATA_1_dcl-01 OCS_DATA_1_dcl ENABLED ACTIVE 13248 CONCAT   -        RW
sd OCS_DATA_DG01-02 OCS_DATA_1_dcl-01 OCS_DATA_DG01 94371840 13248 0 AMS_WMS0_0 ENA

v  OCS_DATA_2   -            ENABLED  ACTIVE   417333248 SELECT   -        fsgen
pl OCS_DATA_2-01 OCS_DATA_2  ENABLED  ACTIVE   417333248 CONCAT   -        RW
sd OCS_DATA_DG03-01 OCS_DATA_2-01 OCS_DATA_DG03 0 417333248 0     AMS_WMS0_1 ENA
pl OCS_DATA_2-02 OCS_DATA_2  ENABLED  ACTIVE   417333248 CONCAT   -        RW
sd OCS_DATA_DG04-01 OCS_DATA_2-02 OCS_DATA_DG04 0 417333248 0     AMS_WMS1_1 ENA