all about AIX MPIO

Multipath  I/O (多路径)
  在计算机存储技术里,多路径提供了容错和性能提高,在计算机系统里CPU有多条物理路径通道,块存储设备通过总线,控制器,交换设备以及桥接设备来连接。
 
  简单举例同一台计算机里1块SCSI磁盘连接2个SCSI控制器或者磁盘连接到两个FCport。假设当中1个控制器。port或交换设备故障，那操作系统就会自己主动切换I/O路径到冗余的控制器为应用程序使用,但这样可能会添加延迟.
 
  一些多路径软件能够利用冗余的路径提高性能,比如:
 
  Dynamic load balancing 动态负载均衡
  Traffic shaping 流量控制
  Automatic path management 自己主动路径管理
  Dynamic reconfiguration 动态设置
 
  Multipath I/O software implementations 多路径软件工具
 
  一些操作系统自带支持多路径功能,例如以下
 
  SGI IRIX - using the LV, XLV and later XVM volume managers (1990s and onwards)
  AIX - MPIO Driver, AIX 5L 5.2 (October 2002) and later
  HP-UX 11.31 (2007)
  Linux - Device-Mapper Multipath . Linux kernel 2.6.13 (August 2005)
  OpenVMS V7.2 (1999) and later
  Solaris Multiplexed I/O (MPxIO), Solaris 8 (February 2000) and later
  Windows MPIO Driver, Windows Server 2003 and Windows Server 2008 (April 2003)
  FreeBSD - GEOM_FOX module
  Mac OS X Leopard and Mac OS X Leopard Server 10.5.2
 
  Multipath software products: (软件产品)
 
  AntemetA. Multipathing Software solution for AIX for HP EVA Disk Arrays
  NEC PathManager
  EMC PowerPath
  FalconStor IPStor DynaPath
  Fujitsu Siemens MultiPath for Linux and Windows OS
  Fujitsu ETERNUS Multipath Driver (ETERNUSmpd) for Solaris, Windows, Linux and  AIX.
  Hitachi HiCommand Dynamic Link Manager (HDLM)
  HP StorageWorks Secure Path
  NCR UNIX MP-RAS EMPATH for EMC Disk Arrays
  NCR UNIX MP-RAS RDAC for Engenio Disk Arrays
  ONStor SDM multipath
  IBM System Storage Multipath Subsystem Device Driver (SDD), formerly Data Path  Optimizer
  Accusys PathGuard
  Infortrend EonPath
  Sun Multipath failover driver for Windows and AIX
  Sun StorEdge Traffic Manager Software, included in Sun Java StorEdge Software  suite
  Linux
  multipath-tools, used to drive the Device Mapper multipathing driver, first released  on September 2003
  Fibreutils package for QLogic HBAs
  RDAC package for LSI disk controllers
  lpfcdriver package for Emulex HBAs
  Veritas
  Veritas Storage Foundation (VxSF)
  Veritas Volume Manager (VxVM)
  Pillar Data Systems
  Axiom Path Manager for AIX, Windows, Linux, and Solaris
  Areca Multipath failover driver for Windows

 

 

AIX下的MPIO、RDAC、SDDPCM多路径软件操作

一：查看存储盘的路径

1、查看MPIO的存储盘的路径
# lspath                                   (适用于全部存储的MPIO路径查询）
# mpio_get_config  -Av                      (适用于DS3K/DS4K的MPIO路径查询）

2、查看RDAC存储盘的路径
# fget_config -Av                           (适用于DS3K/DS4K的RDAC路径查询）

3、查看SDDPCM存储盘的路径
# pcmpath query device                      (适用于DS6K/DS8K和v7000的SDDPCM路径查询)

4、查看当前操作系统自带的支持IBM存储的多路径软件
# manage_disk_drivers

5、将DS4700默认的多路径软件更改成RDAC
# manage_disk_drivers -d DS4700 -o AIX_fcparray

二：MPIO路径的经常使用操作

1、查看单个盘的路径
# lspath -l hdisk3
# lspath-F "status name path_id parent connection" | grep -w hdisk3

2、MPIO路径控制
将fcs0卡下的hdisk2的路径禁用
# chpath -l hdisk2 -p fscsi0 -s disable

将fcs0卡下的hdisk2的路径启用
# chpath -l hdisk2 -p fscsi0 -s enable

3、其他參数
# chdev -l hdisk3 -a queue_depth=1         //假设ODM是1.0.1.0以上能够是不论什么数字

# chdev-l hdisk3 -a hcheck_interval=60     //链路失效检查时间间隔;假设等0，则不会自检

# chdev-l hdisk3 hcheck_mode=nonacive
This parameter specifies which I/O paths should be monitored by the path healthchecking functionality.
nonactive: This mode will check all failed I/O paths and all standby paths of used/openeddevices.
failed: This mode with check failed I/O paths only.
enabled: This mode will check all enabled I/O paths which are opened.

Note:
Non-opened devices are not monitored. Also, this attribute is
not being used at this time since path health checking is not
enabled. This attribute can be ignored

4、改动链路优先级

$ lspath -AHE -l hdisk6 -pfscsi3    //查看链路优先级

attributevalue              description  user_settable

scsi_id   0x10000            SCSI ID      False

node_name0x50060e80132dae70 FC Node Name False

priority  1                  Priority     True

 

# chpath-l hdisk6 -p fscsi0 -w 链路1 -a priority=1
# chpath -l hdisk3 -p fscsi0 -w 链路2 -a priority=2

5、处理故障
1)假设发现有非常多路径是missing的，能够用cfgmgr又一次扫描，假设还有missing的。能够用步骤2和2来激活路径；
2)假设要更换光纤线，能够该卡上的有的路径禁用，换完线后再启用，避免直接拨线产生的风险。

sdd for aix 安装及基本命令 总结出自多个文件（自己做的项目和网上找的资料）

一、sddpcm安装

要安装SDDPCM 驱动程序，须要运行下面步骤。

1.      在安装 SDDPCM程序包之前，安装 AIX SDDPCM主机附件程序包（devices.fcp.disk.ibm.mpio.rte或devices.sas.disk.ibm.mpio.rte）。

2.      使用 root訪问权限登录系统，然后解压缩已下载的SDDPCM主机附件程序包（devices.fcp.disk.ibm.mpio.rte.tar.gz或devices.sas.disk.ibm.mpio.rte.tar.gz）并进行安装。

您也能够使用 smit选项。

#installp-aXY devices.fcp.disk.ibm.mpio.rte

3.      如今，您须要安装 SDDPCM程序包（devices.sddpcm.52.rte、devices.sddpcm.53.rte或devices.sddpcm.61.rte）。

#installp-aXY devices.sddpcm.61.rte

4.      安装必要组件之后，安装 .bff文件。

#installp-aXY devices.sddpcm.61.2.6.3.2.bff

 

5．sddpcm的检查

# pcmpathquery version

# lslpp-l *sddpcm*  

检查SDDPCM server（pcmsrv）是否启动

# lssrc-s pcmsrv

Subsystem         Group            PID          Status

pcmsrv                            335960       active

手工启停pcmsrv的方法

# stoppcmsrv                

0513-044The pcmsrv Subsystem was requested to stop.

# startpcmsrv               

pcmsrvstarted

 

完毕此安装之后，须要设置一个SDD路径选择策略算法，该算法能够帮助您提高多路径配置的和受支持的存储设备的性能，而且能够让路径故障相应用程序透明。

下面路径选择策略受到支持：

•       仅故障转移 (fo)

因为 I/O 错误，在路径发生问题之前，应将全部 I/O操作发送至同样（首选）路径。然后为兴许的I/O操作选择一个备用路径。

•       负载平衡 (lb)

通过评估适配器上每一个路径连接的负载来选择用于I/O操作的路径。负载是同一时候进行的 I/O操作数量的函数。假设多个路径具有同样的负载。则会从这些路径中随机选择一条路径。

负载平衡模式还会并入故障转移保护。

负载平衡策略也称为优化策略。

•       负载平衡顺序 (lbs)

该策略与用于顺序I/O 优化的负载平衡策略同样。

此负载平衡顺序策略也称为优化顺序策略。这是默认设置。

•       轮循 (rr)

从没实用于最后一个I/O 操作的路径中随机选择用于每一个 I/O 操作的路径。假设设备仅仅有两个路径。那么SDD会交替使用这两个路径。

•       轮循顺序 (rrs)

该策略与针对顺序I/O 进行优化的轮循 (round-robin) 策略同样。

您须要为您的环境选择最适当的SDD路径选择策略，并使用下面方法应用该策略。

注意：在更改算法之前。您须要将磁盘保留策略更改为no_reserve。

# chdev-l hdiskX -a reserve_policy=no_reserve

用于设置不同的SDD路径选择策略算法的命令的演示样例

# chdev-l hdiskX -a algorithm=load_balance_port

# chdev-l hdiskX -a algorithm=round_robin

您能够使用pcmpath query device命令查看磁盘策略。

二、经常使用命令

1、多路径状态查看

# sddpcm_get_config -Av

Frameid 0:

    Storage Subsystem worldwide name: 608e5002c7eb6000050aeea7e

    Controller count: 2

    Partition count: 1

    Partition 0:

    Storage Subsystem Name = ''

        hdisk      LUN #  Ownership          User Label

        hdisk4         0  A (preferred)      ha_data1

        hdisk5        1   B (preferred)      ha_data2

        hdisk6         2  A (preferred)      ha_cwback1

        hdisk7         3  B (preferred)      ha_cwback2

 

pcmpathquery device

TotalDual Active and Active/Asymmetric Devices : 6

DEV#:   2  DEVICENAME: hdisk2  TYPE: 2107900  ALGORITHM: Load Balance

SERIAL:75WH8812800

==========================================================================

Path#      Adapter/Path Name          State     Mode    Select     Errors

    0          fscsi0/path2           OPEN   NORMAL    543944          0

    1          fscsi0/path3           OPEN   NORMAL    543359          0

    2          fscsi2/path5           OPEN   NORMAL    528429          0

    3          fscsi2/path7           OPEN   NORMAL    489034          0

DEV#:   3  DEVICENAME: hdisk3  TYPE: 2107900  ALGORITHM: Load Balance

SERIAL:75WH8812801

==========================================================================

Path#      Adapter/Path Name          State     Mode    Select     Errors

    0          fscsi0/path2           OPEN   NORMAL  11759444          1

    1          fscsi0/path3           OPEN   NORMAL   11758904          1

    2          fscsi2/path5           OPEN   NORMAL  12656811          2

    3          fscsi2/path7           OPEN   NORMAL  10132830          1

DEV#:   4  DEVICENAME: hdisk4  TYPE: 2107900  ALGORITHM: Load Balance

SERIAL:75WH8812802

==========================================================================

Path#      Adapter/Path Name          State     Mode    Select     Errors

    0          fscsi0/path2           OPEN   NORMAL      2262          0

    1          fscsi0/path3           OPEN   NORMAL      2418          0

    2          fscsi2/path5           OPEN   NORMAL      2428          0

    3          fscsi2/path7           OPEN   NORMAL      2295          0

DEV#:   5  DEVICENAME: hdisk5  TYPE: 2107900  ALGORITHM: Load Balance

SERIAL:75WH8812900

==========================================================================

Path#      Adapter/Path Name          State     Mode    Select     Errors

    0          fscsi0/path2           OPEN   NORMAL      2168          0

    1          fscsi0/path3           OPEN   NORMAL      2608          0

    2          fscsi2/path5           OPEN   NORMAL      2359          0

    3          fscsi2/path7           OPEN   NORMAL      2274          0

DEV#:   6  DEVICENAME: hdisk6  TYPE: 2107900  ALGORITHM: Load Balance

SERIAL:75WH8812901

==========================================================================

Path#      Adapter/Path Name          State     Mode    Select     Errors

    0          fscsi0/path2           OPEN  NORMAL    2318740          0

    1          fscsi0/path3           OPEN   NORMAL   2319666          0

    2          fscsi2/path5           OPEN   NORMAL   2355086          0

    3          fscsi2/path7           OPEN   NORMAL   2132693          0

DEV#:   7  DEVICENAME: hdisk7  TYPE: 2107900  ALGORITHM: Load Balance

SERIAL:75WH8812902

==========================================================================

Path#      Adapter/Path Name          State     Mode    Select     Errors

    0          fscsi0/path2           OPEN   NORMAL      2535          0

    1          fscsi0/path3           OPEN   NORMAL      2475          0

    2          fscsi2/path5           OPEN   NORMAL      2470          0

    3          fscsi2/path7           OPEN  NORMAL       2312          0

2、停止相应lun路径（路径各自是2、3、5、7，这里是路径停止路径7）

pcmpathset device 2 path 7 offline

pcmpathset device 3 path 7 offline

pcmpathset device 4 path 7 offline

pcmpathset device 5 path 7 offline

pcmpathset device 6 path 7 offline

pcmpathset device 7 path 7 offline

 

3、查看相应port

（这个port是ds8700相应的port，之前我们一起激活的时候按顺序激活的，相应的port号我给你放到最后面。假设我回去这几天或者以后链路出问题，都能够採用相关的命令查看相应的ds8700上的port，这样相应着去offline相应的port，算是及时处理吧。）

pcmpathquery port

p750lpar1:/#pcmpath query port

 

ActiveTargetPorts :4

 

Port#             Wwpn     State    Mode             Select     Errors Paths  Active

    0  500507630a08471b   NORMAL  ACTIVE           13085149          3     6       6

    1  500507630a08c71b   NORMAL  ACTIVE           13084689          0     6       6

    2  500507630a03471b   NORMAL  ACTIVE           14008161          3     6       6

    3  500507630a03c71b   FAILED OFFLINE           11226300         43     6       0

 

 

这里是dscli命令行里面操作的（以下标注的4个口是本次扩容用到的ds8700相应的port。这里的顺序是我们之前一起激活的顺序，）

dscli>lsioport

Date/Time:2012年12月14日下午04时44分39秒 IBM DSCLI Version:6.5.1.203 DS: IBM.

2107-75WH881

ID    WWPN             State   Type             topo     portgrp

================================================================

本次扩容左边的I/O卡

I0030500507630A03071B Offline Fibre Channel-SW -        0

I0031500507630A03471B Offline Fibre Channel-SW -       0

I0032500507630A03871B Offline Fibre Channel-SW -        0

I0033500507630A03C71B Offline Fibre Channel-SW -       0

本次扩容右边的i/o卡

I0100500507630A08071B Offline Fibre Channel-SW -        0

I0101500507630A08471B Offline Fibre Channel-SW -       0

I0102500507630A08871B Offline Fibre Channel-SW -        0

I0103500507630A08C71B Offline Fibre Channel-SW -       0

 

之前的i/o卡

I0230500507630A13071B Online  Fibre Channel-SWSCSI-FCP 0

I0231500507630A13471B Online  Fibre Channel-SWSCSI-FCP 0

I0232500507630A13871B Online  Fibre Channel-SWSCSI-FCP 0

I0233500507630A13C71B Online  Fibre Channel-SWSCSI-FCP 0

I0300500507630A18071B Online  Fibre Channel-SWSCSI-FCP 0

I0301500507630A18471B Online  Fibre Channel-SWSCSI-FCP 0

I0302500507630A18871B Online  Fibre Channel-SWSCSI-FCP 0

I0303500507630A18C71B Online  Fibre Channel-SWSCSI-FCP 0

4、启用相应lun路径

pcmpathset device 2 path 7 online

pcmpathset device 3 path 7 online

pcmpathset device 4 path 7 online

pcmpathset device 5 path 7 online

pcmpathset device 6 path 7 online

pcmpathset device 7 path 7 online

5、清除error

p750lpar1:/#pcmpath clear device 3 count error

 Success: error counter reset

 

6、查看sddpcm多路径配置信息

TotalDual Active and Active/Asymmetric Adapters : 2

Adpt#    Name   State     Mode             Select     Errors Paths  Active

 

0  fscsi0  NORMAL   ACTIVE                  0          0     4       0

 

1  fscsi2  NORMAL   ACTIVE                  0          0     4       0

 

7、lun相应路径具体信息

# lspcmcfg

 

hdisk4(Avail pv xvg) 60050768028081D5D800000000000004 = path0 (Failed) path1 (Failed)path2 (Enabled) path3 (Enabled)

 

hdisk5(Avail pv yvg) 60050768028081D5D800000000000005 = path0 (Failed) path1 (Failed)path2 (Enabled) path3 (Enabled)

 

hdisk6(Avail pv xvg) 60050768028081D5A400000000000004 = path0 (Failed) path1 (Failed)path2 (Enabled) path3 (Enabled)

 

hdisk7(Avail pv yvg) 60050768028081D5A400000000000005 = path0 (Failed) path1 (Failed)path2 (Enabled) path3 (Enabled)

其它

重要的 SDDPCM 命令及其功能：

• pcmpath: 显示和管理 SDDPCM 设备。    
• pcmpath     query adapter: 显示适配器配置
• pcmpath     query version: 显示 SDDPCM 的版本号
• pcmpath     query device: 显示 SDDPCM 设备（pcmpath query device 44 仅显示此设备）
• pcmpath     query essmap: 显示完整概述
• pcmpath     set device algorithm: 动态更改路径选择算法
• pcmpath     set device hc_mode: 动态更改路径执行状况检查模式
• pcmpath     set device hc_interval: 动态更改路径执行状况检查时间间隔
• pcmpath     set device Mpath N online/offline: 动态启用（联机）或禁用（脱机）路径
• pcmpath     set adapter N online/offline: 动态启用（联机）或禁用（脱机）适配器（SDDPCM     保留设备的最后一个路径，而且假设该设备正在使用最后一个路径。则会失败）
• pcmquerypr: 读取并清除暂存的保留和注冊密钥
• pcmquerypr     -vh /dev/hdisk30: 查询并显示暂存的保留（-V 具体模式以及具体信息）
• pcmquerypr     -rh /dev/hdisk30: 释放暂存保留（假设设备被当前主机保留）
• pcmquerypr     -ch /dev/hdisk30: 删除暂存保留并清除全部保留密钥注冊
• pcmquerypr     -ph /dev/hdisk30: 删除暂存保留（假设设备被其它主机保留）
• pcmgenprkey: 设置或清除全部 SDDPCM 多路径     I/O (MPIO) 设备的 PR_key_value Object     Data Manager (ODM) 属性

 

manage_disk_drivers切换RDAC, MPIO 2011-04-19 15:16:51

 

在AIX 6.1 TL3及之前
使用manage_disk_drivers 查看以DS4800为例当前使用的是MPIO,支持RDAC跟MPIO

要切换到RDAC则输入
#manage_disk_drivers -c 5  （ DS4800所在的序号是5）
然后输入 y确认 
最后运行 # bosboot -a
重新启动后就切换成RDAC了

AIX 6.1 TL4的命令跟之前的有所不同
   
    #manage_disk_drivers
    Usage :
    manage_disk_drivers [-l]
    manage_disk_drivers -d device -o driver_option
    manage_disk_drivers -h
    Meaning of the Flags:
    -l: Display the Devices, Present Drivers,and Driver Options
    -d: The Device to change the Driver
    -o: Selects the new Driver
    -h: should be help but is interpretedas an illegal option

我们能够通过
#manage_disk_drivers -l 查看当前使用的是哪种多路径模式
Device  Present Driver Driver Options
DS4100  AIX_APPCM  AIX_APPCM,AIX_fcparray
DS4300  AIX_APPCM  AIX_APPCM,AIX_fcparray
DS4500  AIX_APPCM  AIX_APPCM,AIX_fcparray
DS4700  AIX_APPCM  AIX_APPCM,AIX_fcparray
DS4800  AIX_APPCM  AIX_APPCM,AIX_fcparray
DS5020  AIX_APPCM  AIX_APPCM
DS5100/DS5300AIX_APPCM  AIX_APPCM AIX_APPCM
#manage_disk_drivers -d DS4800 -o AIX_fcparray
将DS4800由AIX_APPCM（MPIO）改成AIX_fcparray（RDAC）
相同输入y确认 然后再运行下#bosboot -a 重新启动

 

版权声明：本文博客原创文章，博客，未经同意，不得转载。