Oracle RAC --安装图解

规划：所用linux系统以虚拟化方式安装在esx上，配置有内网的yum源，各分配有16G存储，下面为简单拓扑图

一，下载软件
1,地址：http://www.oracle.com/technology/software/products/database/oracle10g/htdocs/10201linx8664soft.html
10201_database_linux_x86_64.cpio.gz
10201_clusterware_linux_x86_64.cpio.gz

2,地址：http://www.oracle.com/technology/software/tech/linux/asmlib/rhel5.html
oracleasm-2.6.18-164.el5-2.0.5-1.el5.x86_64.rpm
oracleasmlib-2.0.4-1.el5.x86_64.rpm
oracleasm-support-2.1.3-1.el5.x86_64.rpm

二，安装环境
1，系统：centos 5.4 x86_64
2，外部存储：linux下的iscsi
3, iscsi服务器配置

01	#下载iSCSI Enterprise Target

02	wget http://nchc.dl.sourceforge.net/sourceforge/iscsitarget/iscsitarget-0.4.17.tar.gz

03

#解压缩

04	tar -zxvf iscsitarget-0.4.17.tar.gz  cd iscsitarget-0.4.17

05

#编译、安装

06	make  make install

07

#配置服务

08	chkconfig --level 2345 iscsi-target on

09	service iscsi-target start

10	#配置第一个iSCSI设备  #在/opt/下生成64G大的空洞设备文件  #请将opt修改为实际的目录，并根据实际情况设置设备文件大小

11	#生成空洞文件速度很快的，且在真正使用之前不占用磁盘实际空间

12	dd if=/dev/zero of=/opt/iscsi.[配置文件中Target的名称].img bs=1G count=64 seek=64

13	#cout是从什么开始，一般设置为0

14	#生成256G的例子

15	dd if=/dev/zero of=/opt/iscsi/iqn.2009-04.com.haoyuan-inc:storage.disk.oracle.01.img bs=1G count=0 seek=256

16	vim /etc/ietd.conf

17	#编辑Target名称，

18	例如：iqn.2009-04.com.haoyuan-inc:storage.disk.share.01  #编辑LUN段内容，

19	例如：Lun 0 Path=/opt/iscsi.iqn.2009-04.com.haoyuan-inc:storage.disk.share.01.image,Type=fileio

20	#不要设置XXXUser，允许任何人访问

21	#重启iscsi-target

22	service iscsi-target restart

三，安装准备

1，检查必须软件

1	yum install jdk binutils elfutils-libelf elfutils-libelf-devel glibc glibc-common glibc-devel gcc gcc-c++ libaio libaio-devel libgcc libstdc++ libstdc++-devel make sysstat unixODBC unixODBC-devel libXp libXp-devel

2	#其中jdk是我在yum服务器中添加的

2，修改内核参数

编辑/etc/sysctl.conf

01	kernel.shmall = 2097152

02	kernel.shmmax = 2147483648

03	kernel.shmmni = 4096

04	kernel.sem = 250 32000 100 128

05	fs.file-max = 65536

06	net.ipv4.ip_local_port_range = 1024 65000

07	net.core.rmem_default = 262144

08	net.core.rmem_max = 262144

09	net.core.wmem_default = 262144

10	net.core.wmem_max = 262144

1

#生效

2	/sbin/sysctl -p

3，修改系统shell限制

vi /etc/security/limits.conf

oracle soft nproc 2047

oracle hard nproc 16384

oracle soft nofile 1024

oracle hard nofile 65536

4，配置 Hangcheck 计时器所有 RHEL 版本：
cat >> /etc/rc.d/rc.local <
/sbin/insmod hangcheck-timer hangcheck_tick=30 hangcheck_margin=180
EOF
5，添加相应用户和组

/usr/sbin/groupadd oinstall

/usr/sbin/groupadd dba

/usr/sbin/useradd -m -g oinstall -G dba oracle

passwd oracle

6，配置网络

每个机器需要两块网卡，一个设置为公共IP，一个设置为私有IP，另外另需配置一虚拟IP，
虚拟IP不用手工添加到系统，只需预先定义好，一般是和公共IP在同一子网。

cat /etc/hosts

# Do not remove the following line, or various programs  # that require network functionality will fail.  127.0.0.1               HY_472 localhost.localdomain localhost

::1             localhost6.localdomain6 localhost6  # public address

10.0.40.11 rac1  10.0.40.12 rac2  # private address

10.0.10.11 rac1-priv  10.0.10.12 rac2-priv  # virtual address

10.0.40.111 rac1-vip  10.0.40.112 rac2-vip

7，配置ssh
rac1

su oracle

  $mkdir ~/.ssh

$chmod 755 ~/.ssh

$/usr/bin/ssh-keygen -t rsa

$/usr/bin/ssh-keygen -t dsa

rac2

su oracle

$mkdir ~/.ssh

$chmod 755 ~/.ssh

$/usr/bin/ssh-keygen -t rsa

$/usr/bin/ssh-keygen -t dsa

rac1

$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ssh oracle@rac2 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ssh oracle@rac2 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$chmod 644 ~/.ssh/authorized_keys

rac2

$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ssh oracle@rac1 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ssh oracle@rac1 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$chmod 644 ~/.ssh/authorized_keys

#建立等效性
rac1,rac2

$ssh rac1  $ssh rac1-priv  $ssh rac2  $ssh rac2-priv

8，配置时间同步
rac1、rac2
#vi /etc/crontab
17 18 * * * /usr/sbin/ntpdate repo.haoyuan-inc.com > /dev/null
9,修改系统版本
rac1,rac2

vi /etc/redhat-release  #将CentOS release 5 (Final)  修改成redhat 4

四、配置ASM

1，安装所需软件

rac1、rac2

rpm -ivh oracleasm-2.6.18-164.el5-2.0.5-1.el5.x86_64.rpm  oracleasmlib-2.0.4-1.el5.x86_64.rpm  oracleasm-support-2.1.3-1.el5.x86_64.rpm

2，挂载iscsi硬盘

rac1、rac2

yum install -y --nogpgcheck iscsi-initiator-utils

chkconfig --level 2345 iscsi on

chkconfig --level 2345 iscsid on

service iscsi start

service iscsid start

iscsiadm --mode discovery --type sendtargets --portal 10.0.40.51  iscsiadm -m node -T iqn.20-05.com.forzw:storage.disk.oracle.01 -p 10.0.40.51 -l

vi /etc/rc.local

iscsiadm -m node -T iqn.20-05.com.forzw:storage.disk.oracle.01 -p 10.0.40.51 -l

3，配置ASM

rac1，rac2

/etc/init.d/oracleasm configure

Default user to own the driver interface []: oracle

Default group to own the driver interface []: dba

Start Oracle ASM library driver on boot (y/n) [n]: y

Scan for Oracle ASM disks on boot (y/n) [y]: y

Writing Oracle ASM library driver configuration: done

Initializing the Oracle ASMLib driver: [  OK  ]

Scanning the system for Oracle ASMLib disks: [  OK  ]

/etc/init.d/oracleasm enable

Writing Oracle ASM library driver configuration: done

Initializing the Oracle ASMLib driver: [  OK  ]

Scanning the system for Oracle ASMLib disks: [  OK  ]

rac1

fdisk /dev/sdb

  Disk /dev/sdb: 67.1 GB, 67108864000 bytes  64 heads, 32 sectors/track, 64000 cylinders  Units = cylinders of 2048 * 512 = 1048576 bytes

Device Boot      Start         End      Blocks   Id  System

/dev/sdb1               1        1000     1023984   83  Linux

/dev/sdb2            1001        2000     1024000   83  Linux

/dev/sdb3            2001       12000    10240000   83  Linux

/dev/sdb4           12001       64000    53248000   83  Linux

/etc/init.d/oracleasm createdisk VOL1 /dev/sdb3

/etc/init.d/oracleasm listdisks

VOL1

rac2

/etc/init.d/oracleasm scandisks

五，安装配置RAC

1，创建安装目录
rac1，rac2

mkdir -p /u01/app/oracle/product/10.2.0/db_1

mkdir -p /u01/app/oracle/product/10.2.0/crs

chown -R oracle:oinstall /u01

chmod -R 775 /u01

2，设置环境变量
rac1

$vi .bash_profile

# .bash_profile  # User specific aliases and functions  # Source global definitions

if [ -f /etc/bashrc ]; then

. /etc/bashrc  fi

export ORACLE_BASE=/u01/app/oracle

export ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1

export ORA_CRS_HOME=$ORACLE_BASE/product/10.2.0/crs

export ORACLE_SID=bccb1

export ORACLE_TERM=xterm

export NLS_LANG=AMERICAN_AMERICA.UTF8

export ORA_NLS33=$ORACLE_HOME/ocommon/nls/admin/data

export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib:/usr/local/lib  PATH=$PATH:$HOME/bin:$ORACLE_HOME/bin:$ORA_CRS_HOME/bin:/sbin

export PATH

rac2

$vi .bash_profile

# .bash_profile  # User specific aliases and functions  # Source global definitions

if [ -f /etc/bashrc ]; then

. /etc/bashrc

fi

export ORACLE_BASE=/u01/app/oracle

export ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1

export ORA_CRS_HOME=$ORACLE_BASE/product/10.2.0/crs

export ORACLE_SID=bccb2

export ORACLE_TERM=xterm

export NLS_LANG=AMERICAN_AMERICA.UTF8

export ORA_NLS33=$ORACLE_HOME/ocommon/nls/admin/data

export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib:/usr/local/lib  PATH=$PATH:$HOME/bin:$ORACLE_HOME/bin:$ORA_CRS_HOME/bin:/sbin

export PATH

3，配置voting disk

rac1，rac2

mkdir -p /u02/oracrs/

chown -R oracle:oinstall /u02/oracrs/

chmod -R 775 /u02/oracrs/     raw /dev/raw/raw1 /dev/sdb1  raw /dev/raw/raw2 /dev/sdb2     vi /etc/sysconfig/rawdevices  /dev/raw/raw1 /dev/sdb1  /dev/raw/raw2 /dev/sdb2

chown root:oinstall /dev/raw/raw1

chmod 640 /dev/raw/raw1

chown oracle:dba /dev/raw/raw2

chmod 660 /dev/raw/raw2

vi /etc/rc.local

raw /dev/raw/raw1 /dev/sdb1

raw /dev/raw/raw2 /dev/sdb2

chown root:oinstall /dev/raw/raw1

chmod 640 /dev/raw/raw1

chown oracle:dba /dev/raw/raw2

chmod 660 /dev/raw/raw2

$ln -s /dev/raw/raw1 /u02/oracrs/ocr.crs

$ln -s /dev/raw/raw2 /u02/oracrs/vote.crs

4，安装rac

rac1(安装只在一台机器上进行）
gzip –d 10201_clusterware_linux_x86_64.cpio.gz
cpio –idmv < 10201_clusterware_linux_x86_64.cpio
chown -R oracle:oinstall clusterware

statx     xhost+

su oracle

$cd ~

$source .bash_profile

$mkdir -p /u01/app/oracle/oraInventory

$cd clusterware  $./runInstall

@弹出安装界面

@指定Inventory目录，由于已经环境变量，这里会默认选择

@改变crs安装路径，这里选择已经设置在环境变量中的crs目录

@安装条件检查

@群集名称默认设置为crs，添加节点，注意要和hosts文件种一致

@配置网络接口类型

@配置ocr位置

@配置Voting Disk位置

@安装概要

@安装过程

@执行脚本，依次执行，且先执行本机，等脚本完成后，再在节点上执行，权限为root用户

@在rac2上执行root.sh时候会出现错误，这里跳到文章最后的“问题四“去按照步骤解决问题，之后回来点OK，即完成。

六，安装oracle 10g

rac1(安装只在一台机器上进行）

cpio –idmv < 10201_database_linux_x86_64.cpio  chown -R oracle:oinstall database     statx     xhost+  su oracle  $cd ~  $source .bash_profile  $mkdir -p /u01/app/oracle/oraInventory  $cd database  $./runInstall

@弹出欢迎界面

@选择安装类型，选择企业版

@选择安装位置，这里会自动填写变量中定义目录

@选中所有节点

@安装条件检查

@创建启动数据库

@选择通用数据库

@指定全局数据库名称和sid，并选上示例

@选择数据库管理选项

@选择数据库数据存储方式，这里选择ASM

@弹出警告，点击OK继续

@配置备份，这里选择无备份

@选择ASM存储，由于只设置了一个卷，选择冗余方式为扩展

@配置密码

@安装概要

@安装过程

@配置助手过程

@弹出界面

@配置成功

@安装结束

##########################安装过程中遇到问题解决办法#############################

问题一：
连接被拒绝
PRKC-1044 – FAILED TO CHECK REMOTE COMMAND EXECUTION…
在节点上执行
ssh （本地和其他节点hostname）

问题二：

提示虚拟ip被占用
不应该事先绑定虚拟ip

问题三：
提示SEVERE: Remote ‘AttachHome’ failed on nodes
查看node的oralnventory目录权限
后 执行”/u01/crs/oracle/product/10.2.0/crs_1/oui/bin/runInstaller -attachHome -noClusterEnabled ORACLE_HOME=/u01/crs/oracle/product/10.2.0/crs_1 ORACLE_HOME_NAME=OraCrs10g_home CLUSTER_NODES=HY_471,HY_472 CRS=true “INVENTORY_LOCATION=/u01/oracle/oraInventory” LOCAL_NODE=HY_472“

问题四：
在节点上执行root.sh结束时候提示“Running vipca(silent) for configuring nodeapps
/u01/app/oracle/product/10.2.0/crs/jdk/jre//bin/java: error while loading shared libraries: libpthread.so.0: “等

解决方法：
rac2

cd /u01/app/oracle/product/10.2.0/crs/bin/

./oifcfg iflist

eth0  10.0.40.0

eth1  10.0.10.0

./oifcfg setif -global eth0/10.0.40.0:public

./oifcfg setif -global eth1/10.0.10.0:cluster_interconnect

./oifcfg iflist

eth0  10.0.40.0

eth1  10.0.10.0

./oifcfg getif

eth0  10.0.40.0  global  public

eth1  10.0.10.0  global  cluster_interconnect

/crs/bin下，文件名分别为vipca和srvctl。首先编辑vipca文件，找到如下内容：

Remove this workaround when the bug 3937317 is fixed

arch=`uname -m`

if [ "$arch" = "i686" -o "$arch" = "ia64" ]

then  LD_ASSUME_KERNEL=2.4.19

export LD_ASSUME_KERNEL

fi

 #End workaround  #在fi 后新添加一行：

unset LD_ASSUME_KERNEL

然后编辑srvctl文件，找到如下内容：

LD_ASSUME_KERNEL=2.4.19

export LD_ASSUME_KERNEL  #同样在其后新增加一行：

 unset LD_ASSUME_KERNEL

之后在rac2上执行vipca命令，按图形一步步做。
注意：若是节点名称是大写，这一步很难成功。

cd /u01/app/oracle/product/10.2.0/crs/bin/   ./vipca

@弹出欢迎界面

@选择网络接口

@填写IP，它会自动不全，如果失误填写错误，在“问题五“中有解决办法。

@接上图，会给出确认画面，点击”finish”弹出自动配置界面，结束后即完成。

问题五：

执行vipca时候，误填写错误ip，解决办法

./srvctl modify nodeapps -n rac1 -A 10.0.40.111/255.255.255.0/eth0  ./srvctl modify nodeapps -n rac2 -A 10.0.40.112/255.255.255.0/eth0

问题六：
ora-12523 tns listener could not find instance appropriate for the client

./crs_stat -t

Name           Type           Target    State     Host

------------------------------------------------------------

ora....SM1.asm application    ONLINE    ONLINE    rac1

ora....C1.lsnr application    ONLINE    ONLINE    rac1

ora.rac1.gsd   application    ONLINE    ONLINE    rac1

ora.rac1.ons   application    ONLINE    ONLINE    rac1

ora.rac1.vip   application    ONLINE    ONLINE    rac1

ora....SM2.asm application    ONLINE    ONLINE    rac2

ora....C2.lsnr application    ONLINE    ONLINE    rac2

ora.rac2.gsd   application    ONLINE    ONLINE    rac2

ora.rac2.ons   application    ONLINE    ONLINE    rac2

ora.rac2.vip   application    ONLINE    ONLINE    rac2

asm服务正常，但是连接被拒绝，但可能是网络故障，在手工关闭防火墙后解决问题