安装rac时需要注意的问题
1.虚拟机添加共享磁盘，


1）创建磁盘
在虚拟机软件的安装目录下，有个vmware-vdiskmanager.exe文件（老版本用plainmaker.exe），运行该命令：
D:/Program files/VMware/VMware Workstation>vmware-vdiskmanager.exe -c -s 20000MB -a lsilogic -t 2 d:/share/sharedisk.vmdk
以上命令在D盘的share文件夹下生成了个20GB的磁盘，有两个文件：
sharedisk-flat.vmdk 
sharedisk.vmdk


2）分别打开两台虚拟机目录中的vmx文件，在最后一行添加： 
scsi2:0.shared="TRUE" 
disk.locking="FALSE" 
scsi2:0.SharedBus="Virtual"


3）如果scsi_id -u -g /dev/sdb命令没有返回值时，在虚拟机中添加
disk.EnableUUID = "TRUE"  


2.asm磁盘用udev创建，不用安装asm和asmlib，udev创建的磁盘不需要格式化成文件系统，否则不能用。


3.一般在安装grid软件时，找不到两个节点，一般都是ssh互信没有设置好。
检查ssh互相，knowhost置空，登录一下两个节点knowhost文件就有内容了。
oracle用户和grid用户都要建立互信。
$ssh rac1
$ssh rac2


4./etc/hosts,要配置好ip，vip ，privateip


5.安装cvuqdisk包
在grid安装包目录下,rpm -Uvh cvuqdisk*  


6.创建用户和组，注意oracle和grid用户的权限和组


7.配置ntp时间同步时，虚拟机rac1的一个网卡要配置成NAT模式，并且ip是DHCP自动获取的才可以连外网。
rac2的ntp.config里配置的是rac1的ip，启动ntp服务。
两个节点的/etc/resolv.conf文件要保持一致。


8.grid安装最后报scanip的问题可以忽略
INS-20802


9.安装完grid，去grid用户下去配置asm磁盘组
$asmca
创建完磁盘要看到所有磁盘都是挂载状态才可以。并且第一栏下asm实例都是启动状态。


10.切换到oracle用户下，安装oracle软件
INS-30131
INS-30131
都是/tmp访问权限的问题
解决方法：清空/tmp目录


11.集群的操作命令都在root用户下执行，在grid用户下会提示权限不足。
/u01/app/11.2.0/grid/bin


12.报错ssh:connect to host rac1 port 22:NO route to host
查看/etc/hosts文件，ip地址


13../crsctl check crs
四个online才对
/etc/hosts和ssh互相可以影响到两个online，1，CRS;2.EM


14.在安装grid软件和oracle软件时，最后执行的root.sh脚本都要在两个节点上执行，一个执行完，再执行另一个节点。
此时，./crs_stat -t -v 可以看到两个节点的状态，如果只在rac1上执行root.sh，查看集群状态时，看不到rac2节点。


15.dbca建库时报ORA-09925:unable to create audit trail files
这时，要点击brower浏览按钮，看看有没有asm磁盘组显示，如果没有，按照以下步骤去检查。
1） gi家目录或者其子目录权限错误


2）asm磁盘的权限错误


3）asm实例未启动或者asm磁盘组没有mount上


4）asm磁盘组资源没有在线


5）oracle用户的权限错误


6）oracle($ORACLE_HOME/bin)可执行文件的权限错误
$cd /u01/app/oracle/11.2.0/db_1/bin/oracle
[root@rac01 bin]# ls -ltr oracle
-rwsr-s--x 1 oracle asmadmin 232399431 Feb 19 08:10 oracle/u01/app/grid/11.2.0/bin/oracle
$cd /u01/app/grid/11.2.0/bin/oracle
[root@rac01 bin]# ls -ltr oracle
-rwsr-s--x 1 grid oinstall 203974257 Feb 19 07:28 oracle


16.将rac1上的监听文件拷贝到rac2上，修改ip，启动rac2监听
$lsnrctl start
查看集群监听
./srvctl status listener


17.集群重启
磁盘要设置成开机自动挂载，系统磁盘。
集群停机
$./crsctl stop cluster -all
这时可能会报[crs-4000]rac2未在规定时间内响应
在rac1上启动集群./crsctl start cluster -all
仍报[crs-4000]rac2未在规定时间内响应
但是在两个小时后，查看集群状态时，./crs_stat -t -v时正常了，可以看到两个节点online.
再次关停集群，成功关闭两个节点，
再次开启集群，成功online两个节点。
此次事件，原因不明，有可能是虚拟机资源不足的问题。


18.查看集群资源状态
$./crsctl stat res -t -init
一般是所有资源都是online只有ora.diskmon是offline，不过这个资源是exadata环境下的，不必理会。


19.查看磁盘组
在grid用户下
$asmcmd
>lsdg   显示磁盘状态
$./ocrcheck检查裁决盘


20.查看各种日志及其路径
oracle 下的alert日志$ORACLE_BASE/diag/rdbms/orcl/orcl1/trace/alertorcl1.log
grid 下的 alert 日志 $ORACLE_HOME/log/rac1/alertrac1.log
css的日志$ORACLE_HOME/log/rac1/cssd/cssd.log  ocssd.log
crs的日志$ORACLE_HOME/log/rac1/crsd/crsd.log
ohas的日志$ORACLE_HOME/log/rac1/ohasd/ohasd.log
evm的日志$ORACLE_HOME/log/rac1/evmd/evmd.log
dbca的日志$ORACLE_BASE/cfgtoollogs/dbca


21.检查ACFS驱动状态
$./acfsdriverstate version
ACFS-9129:ADVM/ACFS NOT INSTALLED.
去安装$./acfsroot install
ACFS-9348 unable to remove '/etc/udev/rules.d/55-usm.rules'
查看后，实际上没有这个文件，那就先去这个路径下创建一个同名空文件，安装通过。
启动ACFS服务./acfsload start -s


22.有时asm磁盘组在某一个节点无法挂载，重启虚拟机就好了。