安装Oracle RAC
一、硬件环境
①用虚拟机搭建两台机器，操作系统都为：
[root@node1 ~]# cat /etc/issue
Red Hat Enterprise Linux Server release 5.5(Tikanga)
②内核版本为：
[root@node1 ~]# uname -r
2.6.18-194.el5
③虚拟机node1和node2放在本地D:panjc下，此文件夹下还得创建一个sharedisk文件夹。
二、添加共享磁盘
每个结点我加一块磁盘给/u01，再加一块共享磁盘。加的普通磁盘为35G，共享磁盘为25G。下面看下怎么加共享磁盘。
①点击设置->存储->控制器：STAT控制器->添加虚拟硬盘->创建新的虚拟盘->VDI->固定大小->选择”sharedisk”文件夹并设置25GB大小->创建
②点击管理->虚拟介质管理器->找到刚才在sharedisk下创建的磁盘->右击修改->选择可共享
③选择node2，点击设置->存储->控制器：SATA控制器->添加虚拟硬盘->使用现有的虚拟盘->找到sharedisk文件夹下的磁盘，选择后确认
三、配置网络环境
①配置两个虚拟机的两块网卡，如下图：
②配置node1的公共网卡eth0，
[root@node1 ~]# vi/etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
BOOTPROTO=static
IPADDR=192.168.6.10
NETMASK=255.255.255.0
GATEWAY=192.168.6.1
ONBOOT=yes
③配置node1的私有网卡eth1
[root@node1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth1
BOOTPROTO=static
IPADDR=10.10.10.1
NETMASK=255.255.255.0
ONBOOT=yes
④重启网络服务
[root@node1 ~]# service network restart
⑤在node2中重复②~④步骤
其中，eth0中IPADDR=192.168.6.11，eth1中的IPADDR=10.10.10.2
四、为新添加的磁盘分区及挂载
①查看当前磁盘信息
[root@node1 ~]# fdisk –l
Disk /dev/sda: 21.4 GB, 21474836480 bytes
…
Disk /dev/sdb: 37.5 GB, 37580963840 bytes
…
Disk /dev/sdc: 26.8 GB, 26843545600 bytes
…
部分信息省略…
可以发现sdb是将来用于分区后挂载到/u01上的，而sdc是共享磁盘。
②分区
[root@node1 ~]# fdisk /dev/sdb
…
Command (m for help): n
Command action
e extended
p primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-4568, default 1): 1
Last cylinder or +size or +sizeM or +sizeK(1-4568, default 4568):
Using default value 4568
…
Command (m for help): w
③创建文件系统并格式化
[root@node1 ~]# mkfs.ext3 /dev/sdb1
④创建挂载点
[root@node1 ~]# mkdir /u01
⑤配置开机挂载
[root@node1 ~]# vi /etc/fstab
添加如下信息：
/dev/sdb1 /u01 ext3 defaults 0 0
⑥挂载
[root@node1 ~]# mount /u01
此时可以df -h查看是否成功挂载
⑦node2中重复以上步骤
之所以要加一个35G的磁盘到/u01，是因为一会/u01下会安装oracle软件以及grid软件，这样空间足够。
五、建立用户组、用户及相应目录
由于建立用户组及用户一个个输入比较麻烦，于是写了两个shell脚本来实现。
[root@node1 ~]# vi user.sh
groupadd -g 200 oinstall
groupadd -g 201 dba
groupadd -g 202 oper
groupadd -g 203 asmadmin
groupadd -g 204 asmoper
groupadd -g 205 asmdba
useradd -u 200 -g oinstall -Gdba,asmdba,oper oracle
useradd -u 201 -g oinstall -Gasmadmin,asmdba,asmoper,oper grid
[root@node1 ~]# sh user.sh
为oracle和grid用户分为设置密码：
[root@node1 ~]# passwd oracle
[root@node1 ~]# passwd grid
[root@node1 ~]# vi mkdir.sh
mkdir -p /u01/app/oraInventory
chown -R grid:oinstall/u01/app/oraInventory/
chmod -R 775 /u01/app/oraInventory/
mkdir -p /u01/11.2.0/grid
chown -R grid:oinstall /u01/11.2.0/grid/
chmod -R 775 /u01/11.2.0/grid/
mkdir -p /u01/app/oraInventory/
mkdir -p /u01/app/oracle
mkdir -p /u01/app/oracle/cfgtoollogs
mkdir -p/u01/app/oracle/product/11.2.0/db_1
chown -R oracle:oinstall /u01/app/oracle
chmod -R 775 /u01/app/oracle
[root@node1 ~]# sh mkdir.sh
六、配置/etc/hosts
[root@node1 ~]# vi /etc/hosts
127.0.0.1 localhost
192.168.6.10 node1 --公共网卡
192.168.6.9 node1-vip --此地址必须要与公共网卡同网段（客户端的tns中可以用此址，好处：可以漂移）
10.10.10.1 node1-priv
192.168.6.11 node2
192.168.6.12 node2-vip
10.10.10.2 node2-priv
192.168.6.15 rac_scan --真的rac环境需要一个dns服务器，以此解析出三个ip(ip1,ip2,ip3)
七、修改内核参数
[root@node1 ~]# vi /etc/sysctl.conf
添加如下内容：
fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmall = 2097152
kernel.shmmax = 536870912
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048586
使内核参数修改生效
[root@node1 ~]# sysctl –p
八、修改oracle和grid用户资源配额
[root@node1 ~]# vi /etc/security/limits.conf
添加如下内容：
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
oracle soft stack 10240
grid soft nproc 2047
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536
grid soft stack 10240
九、修改登录配置文件
[root@node1 ~]# vi /etc/pam.d/login
添加如下内容：
session required /lib/security/pam_limits.so
[root@node1 ~]# vi /etc/profile
添加如下内容：
if [ $USER = "oracle" ]||[ $USER= "grid" ]; then
if [ $SHELL = "/bin/ksh" ]; then
ulimit -p 16384
ulimit -n 65536
else
ulimit -u 16384 -n 65536
fi
fi
十、关闭系统ntp服务，采用oracle自带的时间同步服务
[root@node1 ~]# chkconfig ntpd off
[root@node1 ~]# mv /etc/ntp.conf/etc/ntp.conf.bak
十一、修改oracle和grid用户环境变量
[root@node1 ~]# su – oracle
[oracle@node1 ~]$ vi .bash_profile
# .bash_profile
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi
# User specific environment and startupprograms
export EDITOR=vi
export ORACLE_SID=prod1
export ORACLE_BASE=/u01/app/oracle
exportORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
exportPATH=$ORACLE_HOME/bin:/bin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/X11R6/bin
umask 022
同理，切成grid用户，修改环境变量
[oracle@node1 ~]$ su – grid
[grid@node1 ~]$ vi .bash_profile
# .bash_profile
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi
# User specific environment and startupprograms
export EDITOR=vi
export ORACLE_SID=+ASM1
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=/u01/11.2.0/grid
export GRID_HOME=/u01/11.2.0/grid
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
export THREADS_FLAG=native
exportPATH=$ORACLE_HOME/bin:/bin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/X11R6/bin
umask 022
十二、配置node2信息
Node2中的配置与node1几乎相同，可以按照第三至第十一步配置，也可以使用scp命令直接从node1拷贝到Node2。
[root@node1 ~]#scp user.sh node2:~
[root@node1 ~]#scp mkdir.sh node2:~
[root@node2 ~]#sh user.sh
[root@node2 ~]#sh mkdir.sh
[root@node2 ~]#passwd oracle
[root@node2 ~]#passwd grid
[root@node1 ~]#scp /etc/hosts node2:/etc/hosts
[root@node1 ~]#scp /etc/sysctl.conf node2:/etc/sysctl.conf
[root@node2 ~]#cat /etc/sysctl.conf
[root@node1 ~]#scp /etc/security/limits.conf node2:/etc/security/limits.conf
[root@node1 ~]#scp /etc/pam.d/login node2:/etc/pam.d/login
[root@node2 ~]#chkconfig ntpd off
[root@node2 ~]# mv/etc/ntp.conf /etc/ntp.conf.bak
在修改oracle和grid的环境变量时，注意node2中
exportORACLE_SID=prod2
exportORACLE_SID=+ASM2
十三、配置共享存储
[root@node1 ~]# fdisk /dev/sdc
…
Command (m for help): n
Command action
e extended
p primary partition (1-4)
p
Partition number (1-4): 1
Last cylinder or +size or +sizeM or +sizeK(1-3263, default 3263): +1024M
…
Command (m for help): n
Command action
e extended
p primary partition (1-4)
e
Partition number (1-4): 2
First cylinder (126-3263, default 126):
Using default value 126
Last cylinder or +size or +sizeM or +sizeK(126-3263, default 3263):
Using default value 3263
…
Command (m for help): n
Command action
l logical (5 or over)
p primary partition (1-4)
l
First cylinder (126-3263, default 126):
Using default value 126
Last cylinder or +size or +sizeM or +sizeK(126-3263, default 3263): +1024M
按照这个步骤，一共分三个1GB，两个5GB和两个3GB的扩展磁盘。这里的实验分区结果如下，最后多了点磁盘，也一块分区，不浪费。
Device Boot Start End Blocks Id System
/dev/sdc1 1 125 1004031 83 Linux
/dev/sdc2 126 3263 25205985 5 Extended
/dev/sdc5 126 250 1004031 83 Linux
/dev/sdc6 251 375 1004031 83 Linux
/dev/sdc7 376 998 5004216 83 Linux
/dev/sdc8 999 1621 5004216 83 Linux
/dev/sdc9 1622 1995 3004123+ 83 Linux
/dev/sdc10 1996 2369 3004123+ 83 Linux
/dev/sdc11 2370 2432 506016 83 Linux
/dev/sdc12 2433 3263 6674976 83 Linux
现在切换到node2
[root@node2 ~]# fdisk –l
因为是共享磁盘，所以node2里也有分区信息。
十四、安装ASM软件包
去OTN下载ASM软件包。包括如下几个包：
[root@node1 asm]# ll
total 236
-rwxr--r-- 1 500 500 130018 May 9 2012oracleasm-2.6.18-194.el5-2.0.5-1.el5.i686.rpm
-rwxr--r-- 1 500 500 13929 Apr 11 2010 oracleasmlib-2.0.4-1.el5.i386.rpm
-rwxr--r-- 1 500 500 85382 Apr 11 2010 oracleasm-support-2.1.3-1.el5.i386.rpm
其中第一个包的内核参数必须和你的linux内核完全一样。下面安装：
[root@node1 asm]# rpm -ivh *
同理，把ASM相应的包拷贝到node2
[root@node1 soft]# scp -r asmnode2:/home/oracle
在node2也安装这几个rpm包
十五、配置oracleasm
[root@node1 soft]# service oracleasmconfigure
…
Default user to own the driver interface[]: grid
Default group to own the driver interface[]: asmadmin
Start Oracle ASM library driver on boot(y/n) [n]: y
Scan for Oracle ASM disks on boot (y/n)[y]: y
…
同样，在node2做相同操作
十六、建立oracle asm 磁盘
首先fdisk –l查看下当前磁盘状态，一会建立时一一对应。
[root@node1 ~]# fdisk –l
…
Disk /dev/sdc: 26.8 GB, 26843545600 bytes
255 heads, 63 sectors/track, 3263 cylinders
Units = cylinders of 16065 * 512 = 8225280bytes
Device Boot Start End Blocks Id System
/dev/sdc1 1 125 1004031 83 Linux
/dev/sdc2 126 3263 25205985 5 Extended
/dev/sdc5 126 250 1004031 83 Linux
/dev/sdc6 251 375 1004031 83 Linux
/dev/sdc7 376 998 5004216 83 Linux
/dev/sdc8 999 1621 5004216 83 Linux
/dev/sdc9 1622 1995 3004123+ 83 Linux
/dev/sdc10 1996 2369 3004123+ 83 Linux
/dev/sdc11 2370 2432 506016 83 Linux
/dev/sdc12 2433 3263 6674976 83 Linux
好了，现在正式创建asm磁盘。
[root@node1 ~]# service oracleasmcreatedisk OCR_VOTE1 /dev/sdc1
[root@node1 ~]# service oracleasmcreatedisk OCR_VOTE2 /dev/sdc5
[root@node1 ~]# service oracleasmcreatedisk OCR_VOTE3 /dev/sdc6
[root@node1 ~]# service oracleasmcreatedisk ASM_DATA1 /dev/sdc7
[root@node1 ~]# service oracleasmcreatedisk ASM_DATA2 /dev/sdc8
[root@node1 ~]# service oracleasmcreatedisk ASM_FLA1 /dev/sdc9
[root@node1 ~]# service oracleasmcreatedisk ASM_FLA2 /dev/sdc10
现在查看一下asm磁盘情况。
[root@node1 ~]# service oracleasm listdisks
ASM_DATA1
ASM_DATA2
ASM_FLA1
ASM_FLA2
OCR_VOTE1
OCR_VOTE2
OCR_VOTE3
由于我在node1中创建了asm磁盘，同样，node2也要创建，这里，只要在node2中扫描一下就可以了。
[root@node2 ~]# service oracleasm scandisks
在node2中再次查看asm磁盘情况，service oracleasm listdisks，可以发现和node1中的状态是一样的。
十七、建立主机信任关系
由于rac中，结点间的软件是由一个结点安装完后再拷贝到另一个结点去的，所以在拷贝时，必须使得两个结点间互相信任，通俗讲就是不需要密码就能来回拷贝，下面看下怎么配置主机信任关系。
[root@node1 ~]#su – oracle
[oracle@node1~]$ mkdir .ssh
[root@node2 ~]#su – oracle
[oracle@node2~]$ mkdir .ssh
[oracle@node1~]$ ssh-keygen -t rsa
…回车下去…
[oracle@node1~]$ ssh-keygen -t dsa
…回车下去…
[oracle@node2~]$ ssh-keygen -t rsa
…回车下去…
[oracle@node2~]$ ssh-keygen -t dsa
…回车下去…
[oracle@node1~]$ cat .ssh/id_rsa.pub>>.ssh/authorized_keys
[oracle@node1~]$ cat .ssh/id_dsa.pub>>.ssh/authorized_keys
[oracle@node1~]$ ssh node2 cat .ssh/id_rsa.pub>>.ssh/authorized_keys
[oracle@node1~]$ ssh node2 cat .ssh/id_dsa.pub>>.ssh/authorized_keys
[oracle@node1~]$ scp .ssh/authorized_keys node2:~/.ssh
下面开始相互建立，对自己和对node2一起通信。
[oracle@node1~]$ ssh node2 date
[oracle@node1~]$ ssh node2-priv date
[oracle@node1~]$ ssh node1 date
[oracle@node1~]$ ssh node1-priv date
同样，在node2也做这些操作
[oracle@node2~]$ ssh node1 date
[oracle@node2~]$ ssh node1-priv date
[oracle@node2~]$ ssh node2 date
[oracle@node2~]$ ssh node2-priv date
再切入grid用户，再次做以上操作。
[oracle@node1~]$ su – grid
[grid@node1 ~]$mkdir .ssh
[oracle@node2~]$ su – grid
[grid@node2 ~]$mkdir .ssh
[grid@node1 ~]$ssh-keygen -t rsa
[grid@node1 ~]$ssh-keygen -t dsa
[grid@node2 ~]$ssh-keygen -t rsa
[grid@node2 ~]$ssh-keygen -t dsa
[grid@node1 ~]$cat .ssh/id_rsa.pub >> .ssh/authorized_keys
[grid@node1 ~]$cat .ssh/id_dsa.pub >> .ssh/authorized_keys
[grid@node1 ~]$ssh node2 cat .ssh/id_rsa.pub >> .ssh/authorized_keys
[grid@node1 ~]$ssh node2 cat .ssh/id_dsa.pub >> .ssh/authorized_keys
[grid@node1 ~]$scp .ssh/authorized_keys node2:~/.ssh
[grid@node1 ~]$ssh node2 date
[grid@node1 ~]$ssh node2-priv date
[grid@node1 ~]$ssh node1 date
[grid@node1 ~]$ssh node1-priv date
[grid@node2 ~]$ssh node1 date
[grid@node2 ~]$ssh node1-priv date
[grid@node2 ~]$ssh node2 date
[grid@node2 ~]$ssh node2-priv date
十八、安装grid软件
去网上下载grid软件，我这里是这个版本
[root@node1 soft]# ll
total 3188280
drwxr-xr-x 2 500 500 4096 Feb 24 10:04 asm
-rwxr--r-- 1 500 500 1285396902 Oct 26 2011 linux_11gR2_database_1of2.zip
-rwxr--r-- 1 500 500 995359177 Oct 26 2011 linux_11gR2_database_2of2.zip
-rwxr--r-- 1 500 500 980831749 Apr 14 2012 linux_11gR2_grid.zip
下面解压linux_11gR2_grid.zip
[root@node1 soft]# unziplinux_11gR2_grid.zip
解压完了之后，要以grid 用户的身份校验安装环境（在grid的安装软件包目录下）
[grid@node1 grid]$ ./runcluvfy.sh stage-pre crsinst -n node1,node2 -fixup –verbose
完了之后有几个包是failed，我们要把它们安装上
这里使用yum来安装
[root@node1 ~]# cd /etc/yum.repos.d/
[root@node1 yum.repos.d]# cprhel-debuginfo.repo yum.repo
[root@node1 yum.repos.d]# mvrhel-debuginfo.repo rhel-debuginfo.repo.bak
[root@node1 yum.repos.d]# vi yum.repo
[Base]
name=Red Hat Enterprise Linux
baseurl=file:///media/Server
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
挂上光盘后
[root@node1 ~]# mount /dev/cdrom /media/
[root@node1 ~]# yum install libaio* -y
[root@node1 ~]# yum install syssta* -y
[root@node1 ~]# yum install unixO* -y
[root@node1 ~]# yum install -y vnc*
[root@node1 yum.repos.d]# scp yum.reponode2:/etc/yum.repos.d/
以上的包在也node2上装一遍
[root@node1 ~]#reboot
[root@node1 ~]# vncserver
用grid用户登录redhat，下面在图形化界面操作
[grid@node1 ~]$ vncviewer node1:5901
…
[root@node1 ~]xhost +
[root@node1 ~]su – grid
[root@node1 ~]cd /soft/grid
[grid@node1 ~]./runInstaller
① Install and Configure GridInfrastructure for a Cluster
② Advanced Installation
③ English
④
⑤ 添加node2和node2-vip，结果如下
⑥
⑦ 选择ASM
⑧
⑨
⑩
⑪
⑫
⑬
⑭
⑮
⑯ Finish,安装…
⑰ 按照提示在node1和node2中分别跑两个脚本，结束安装
⑱ 修改环境变量[root@node1 ~]# vi /etc/profile，两个结点都添加exportPATH=$PATH:/u01/11.2.0/grid/bin，然后[root@node1 ~]# source /etc/profile
十九、安装数据库
[root@node1 ~]# cd /soft
[root@node1 soft]# ls -l
total 3188284
drwxr-xr-x 2 500 500 4096 Feb 24 10:04 asm
drwxr-xr-x 8 root root 4096 Aug 19 2009 grid
-rwxr--r-- 1 500 500 1285396902 Oct 26 2011linux_11gR2_database_1of2.zip
-rwxr--r-- 1 500 500 995359177 Oct 26 2011 linux_11gR2_database_2of2.zip
-rwxr--r-- 1 500 500 980831749 Apr 14 2012 linux_11gR2_grid.zip
[root@node1 soft]# unziplinux_11gR2_database_1of2.zip
[root@node1 soft]# unzip linux_11gR2_database_2of2.zip
[root@node1 soft]# chown -R oracle:oinstalldatabase/
[root@node1 ~]# su - oracle
[oracle@node1 ~]$ cd /soft/database/
[oracle@node1 database]$ ./runInstaller
①
②
③
④
⑤
⑥
⑦
⑧
⑨
⑩
二十、配置ASM组
[oracle@node1 database]$ su - grid
Password:
[grid@node1 ~]$ asmca
①
②
③
④
二十一、DBCA建立数据库
建立数据库之前查看磁盘组是否都被mount。
[root@node1 ~]# su - grid
[grid@node1 ~]$ sqlplus / as sysdba
SQL> desc v$asm_diskgroup
Name Null? Type
----------------------------------------- ------------------------------------
GROUP_NUMBER NUMBER
NAME VARCHAR2(30)
SECTOR_SIZE NUMBER
BLOCK_SIZE NUMBER
ALLOCATION_UNIT_SIZE NUMBER
STATE VARCHAR2(11)
TYPE VARCHAR2(6)
TOTAL_MB NUMBER
FREE_MB NUMBER
HOT_USED_MB NUMBER
COLD_USED_MB NUMBER
REQUIRED_MIRROR_FREE_MB NUMBER
USABLE_FILE_MB NUMBER
OFFLINE_DISKS NUMBER
COMPATIBILITY VARCHAR2(60)
DATABASE_COMPATIBILITY VARCHAR2(60)
VOTING_FILES VARCHAR2(1)
SQL> select group_number,name,state fromv$asm_diskgroup;
GROUP_NUMBER NAME STATE
------------ -----------------------------------------
1 OCR_VOTE MOUNTED
2 DG1 MOUNTED
3 FLA1 MOUNTED
同理查看Node2磁盘组Mount状态。
[root@node2 ~]# su - grid
[grid@node2 ~]$ sqlplus / as sysdba
f line ignored.
SQL> select group_number,name,state fromv$asm_diskgroup;
GROUP_NUMBER NAME STATE
------------ -----------------------------------------
1 OCR_VOTE MOUNTED
0 DG1 DISMOUNTED
3 FLA1 MOUNTED
发现dg1没有被mount上，所以手动mount。
SQL> conn /as sysasm
Connected.
SQL> alter diskgroup dg1 mount;
Diskgroup altered.
[oracle@node1 ~]$ dbca
①
②
③
⑤
⑥
⑦ 使用grid用户netca配置监听后继续
⑧
⑨
⑩
⑪
⑫
⑬
⑭
⑮
⑯
