Openfiler配置RAC共享存储

将 Openfiler 用作 iSCSI 存储服务器，主要操作步骤如下：

• 1.设置 iSCSI 服务
• 2.配置网络访问
• 3.指定物理存储器并对其分区
• 4.创建新的卷组
• 5.创建所有逻辑卷
• 6.为每个逻辑卷创建新的 iSCSI 目标
• 7.RAC各节点配置共享存储
• Reference

首先，需要安装Openfiler系统（类似安装Linux），我这里设定的IP地址:10.10.10.10（与RAC服务器网络相通）。安装完毕后通过web访问管理
https://10.10.10.10:446

默认用户密码：openfiler/password

1.设置 iSCSI 服务

Services -> iSCSI Target -> start

# service iscsi-target status
ietd (pid 897) is running...

图形界面截图1：启动并设置自启动iSCSI服务

2.配置网络访问

通过System -> Network Access Configuration进行网络访问配置，添加可以访问到Openfiler的服务器IP地址。

Delete	Name	Network/Host	Netmask	Type
	jyracdb1-priv	10.10.10.191	255.255.255.255	Share
	jyracdb2-priv	10.10.10.193	255.255.255.255	Share

图形界面截图2：网络访问控制

3.指定物理存储器并对其分区

通过Volumes -> Block Devices 图形界面截图3：创建pv  

4.创建新的卷组

通过Volumes -> Volume Groups 图形界面截图4：创建vg 

5.创建所有逻辑卷

通过Volumes -> Add Volume 图形界面截图5：在vg中创建lv 

6.为每个逻辑卷创建新的 iSCSI 目标

通过Volumes -> iSCSI Targets ## 6.1 添加新的iSCSI Target ##  ## 6.2 选择iSCSI Target ##  ## 6.3 LUN 映射 ##  ## 6.4 ACL设置为Allow ## 

7.RAC各节点配置共享存储

## 7.1 检查rpm包 ##

# rpm -qa --queryformat "%{NAME}-%{VERSION}-%{RELEASE} (%{ARCH})
"| grep iscsi-initiator-utils
iscsi-initiator-utils-6.2.0.873-2.el6 (x86_64)

7.2 检查服务状态

# service iscsid status
iscsid (pid  672) is running...

7.3 显示Openfiler上所有可用的LUN

# iscsiadm -m discovery -t sendtargets -p 10.10.10.10
10.10.10.10:3260,1 iqn.2006-01.com.openfiler:racdb-fra1
10.10.10.10:3260,1 iqn.2006-01.com.openfiler:racdb-data1
10.10.10.10:3260,1 iqn.2006-01.com.openfiler:racdb-crs1

7.4 登录iscsi目标

#手工登录iscsi目标
iscsiadm -m node -T iqn.2006-01.com.openfiler:racdb-crs1 -p 10.10.10.10 -l
iscsiadm -m node -T iqn.2006-01.com.openfiler:racdb-data1 -p 10.10.10.10 -l
iscsiadm -m node -T iqn.2006-01.com.openfiler:racdb-fra1 -p 10.10.10.10 -l
#配置自动登录
iscsiadm -m node -T iqn.2006-01.com.openfiler:racdb-crs1 -p 10.10.10.10 --op update -n node.startup -v automatic
iscsiadm -m node -T iqn.2006-01.com.openfiler:racdb-data1 -p 10.10.10.10 --op update -n node.startup -v automatic
iscsiadm -m node -T iqn.2006-01.com.openfiler:racdb-fra1 -p 10.10.10.10 --op update -n node.startup -v automatic

7.5 重启iscsi服务

[root@jyracdb1 ~]# service iscsi stop
Stopping iscsi: [  OK  ]
[root@jyracdb1 ~]# service iscsi start
Starting iscsi: [  OK  ]

7.6 udev绑定共享存储

fdisk -l 查看有那些磁盘，参考Maclean的udev绑定脚本：

将 b->f的编号放入for 循环中，例如：
# AUTO UDEV RULE BY Maclean Liu 2012/06/30
for i in b c d e f ;
do
echo "KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="`/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/sd$i`", NAME="asm-disk$i", OWNER="grid", GROUP="asmadmin", MODE="0660""      
done

就会生成sdb->sdf 设备绑定的RULE，在将这些RULE写入到/etc/udev/rules.d/99-oracle-asmdevices.rules中
之后运行用root运行/sbin/start_udev  即可.

7.7 重启两台主机

确定主机重启后，共享存储都正常。

ls -lh /dev/asm*

Reference

• 在 Oracle Enterprise Linux 和 iSCSI 上构建您自己的 Oracle RAC 11g 集群
• 在Linux 6上使用UDEV解决RAC ASM存储设备名问题