虚拟机VMware安装OracleRAC.RedHat Enterprise AS4再次安装Oracle10g RAC(完整版)

草木瓜  20080329

一、硬件环境

 笔记本配置->
  内存：Physical Memory  Total 1527 MB
  处理器：CPU Type Mobile Intel Pentium M 740, 1733 MHz (13 x 133)
  硬盘：Driver Description TOSHIBA MK6032GAX 60G
 
 配置推荐->
  硬盘 推荐空闲空间 17G  本机使用情况如下
   7G(虚拟机1)+7G(虚拟机2)+1.5G(共享磁盘)+1.5G(安装文件)
  内存 推荐1.5G以上
  
  最为重要的配置就是内存，建议1.5G或以上。1G内存不仅会速度奇慢，而且在安装过程中
 会出现各种奇怪的错误。错误列举：
   a.安装过程中虚拟机无故重启或关机
   b.安装过程中提示复制文件出错或超时
   c.整个安装创建过程中无任何错误，但最后数据库服务启动失败，即如下进程有些不能
  正常启动，crs_stop crs_start srvctl 等命令均无效，提示失败。
 
   NAME=ora.liwei.db
   TYPE=application
   TARGET=ONLINE
   STATE=ONLINE on linuxrac2
   
   NAME=ora.liwei.liwei.cs
   TYPE=application
   TARGET=ONLINE
   STATE=ONLINE on linuxrac1
   
   NAME=ora.liwei.liwei.liwei1.srv
   TYPE=application
   TARGET=ONLINE
   STATE=ONLINE on linuxrac1
   
   NAME=ora.liwei.liwei.liwei2.srv
   TYPE=application
   TARGET=ONLINE
   STATE=ONLINE on linuxrac2
   
   NAME=ora.liwei.liwei1.inst
   TYPE=application
   TARGET=ONLINE
   STATE=ONLINE on linuxrac1
   
   NAME=ora.liwei.liwei2.inst
   TYPE=application
   TARGET=ONLINE
   STATE=ONLINE on linuxrac2
   
   但可以通过sqlplus "/ as sysdba"正常启动关闭数据库，RAC数据库测试也是正常的。
   
   d.启动CRS后，crs_stat看到部分进程为UNKNOWN,须要手工STOP再START。

二、软件环境

 虚拟机版本：
  VMware WorkStation 6.0.3 build-80004
  
  注意：VMWare WorkStation 是完全可以设置使用共享磁盘来安装RAC的。具体内容见
 本文<五、共享磁盘>一节。
 
 安装Linux版本：
 
 [root@linuxrac6 etc]# lsb_release -a
 LSB Version:    :core-3.0-ia32:core-3.0-noarch:graphics-3.0-ia32:graphics-3.0-noarch
 Distributor ID: RedHatEnterpriseAS
 Description:    Red Hat Enterprise Linux AS release 4 (Nahant Update 2)
 Release:        4
 Codename:       NahantUpdate2
 
 [root@linuxrac6 etc]# uname -a
 Linux linuxrac6 2.6.9-22.EL #1 Mon Sep 19 18:20:28 EDT 2005 i686 i686 i386 GNU/Linux

 虚拟主机 双节点名称：
 linuxrac1
 linuxrac2
 
 虚拟主机 IP配置信息(/etc/hosts)：
 
 [root@linuxrac1 oradata]# cat /etc/hosts
 # Do not remove the following line, or various programs
 # that require network functionality will fail.
 127.0.0.1       localhost.localdomain   localhost
 134.98.105.170  linuxrac1
 134.98.105.171  linuxrac2
 192.168.0.6     linuxrac1-priv
 192.168.0.9     linuxrac2-priv
 134.98.105.233  linuxrac1-vip
 134.98.105.232  linuxrac2-vip
 其网络上不能存在VIP IP地址冲突，否则ora.linuxrac1.vip之类进程会启动失败，可见相关
日志。
 
 [root@linuxrac2 ~]# free -m 
 
 mkswap /dev/sdb1
 
 swapon /dev/sdb1

 /dev/sdb1               swap                    swap    defaults        0 0 
 
三、创建虚拟机 

 关于虚拟机创建，重要一点是尽量选择Allocate all disk space now ,提升了性能和稳定性，
也会避免一些空间扩展的麻烦或BUG。

四、安装虚拟机操作系统

 须要特别提出的是，安装操作系统时设置交换分区要尽量大，推荐空间768M以上，否则在后续
安装时速度会很慢。

五、设置共享磁盘

 创建方法见《虚拟机VMware安装OracleRAC.环境综述》<七、设置共享磁盘>一节。

 创建后要保证两台节点机可共享访问，必须修改LinuxRac1.vmx配置文件，加入如下内容：
 
 diskLib.dataCacheMaxSize=0        
 diskLib.dataCacheMaxReadAheadSize=0
 diskLib.dataCacheMinReadAheadSize=0
 diskLib.dataCachePageSize=4096    
 diskLib.maxUnsyncedWrites = "0"
 
 disk.locking = "FALSE"
 scsi1.sharedBus = "virtual"
 scsi1.present = "TRUE"
 scsi1.virtualDev = "lsilogic"
 
 scsi1:0.mode = "independent-persistent"
 scsi1:0.deviceType = "disk"
 scsi1:0.present = "TRUE"
 scsi1:0.fileName = "E:/VMDISK/RACDATA.vmdk" 
 
 E:/VMDISK/RACDATA.vmdk即创建的共享磁盘。原英文如下：

 #
 # ----------------------------------------------------------------
 # SHARED DISK SECTION - (BEGIN)
 # ----------------------------------------------------------------
 # -  The goal in meeting the hardware requirements is to have a
 #    shared storage for the two nodes. The way to achieve this in
 #    VMware is the creation of a NEW SCSI BUS. It has to be of
 #    type "virtual" and we must have the disk.locking = "false"
 #    option.
 # -  Just dataCacheMaxSize = "0" should be sufficient with the
 #    diskLib.* parameters, although I include all parameters for
 #    documentation purposes.
 # -  maxUnsyncedWrites should matter for sparse disks only, and
 #    I certainly do not recommend using sparse disks for
 #    clustering.
 # -  dataCacheMaxSize=0 should disable cache size completely, so
 #    other three dataCache options should do nothing (no harm,
 #    but nothing good either).
 # ----------------------------------------------------------------
 #
 
 diskLib.dataCacheMaxSize = "0"
 diskLib.dataCacheMaxReadAheadSize = "0"
 diskLib.dataCacheMinReadAheadSize = "0"
 diskLib.dataCachePageSize = "4096"
 diskLib.maxUnsyncedWrites = "0"
 
 disk.locking = "false"
 
 # ----------------------------------------------------------------
 #   Create one HBA
 # ----------------------------------------------------------------
 
 scsi1.present = "TRUE"
 scsi1.sharedBus = "virtual"
 scsi1.virtualDev = "lsilogic"
 
 # ----------------------------------------------------------------
 #   Create virtual SCSI disks on single HBA
 # ----------------------------------------------------------------
 
 scsi1:0.present = "TRUE"
 scsi1:0.fileName = "M:/My Virtual Machines/Workstation 5.5.3/vmlinux1/Disk1.vmdk"
 scsi1:0.redo = ""
 scsi1:0.mode = "independent-persistent"
 scsi1:0.deviceType = "disk"
 
 VMWare WorkStation 是绝对可以使用共享磁盘的，至于启动提示Clustering is not
 Supported for VMWare WorkStation，完全可以忽略之。对于网络上声称VMWare WorkStation
 不能使用共享磁盘的一些文章，也同样忽略之。
 
 笔者推荐使用VMWare WorkStation 6.0安装Oracle 10g RAC。
 
 
六、配置双机环境

 推荐配置顺序如下：
 
 (1) 设置启动服务 ，安装rsh和ssh，配置hangcheck-time
  详细内容请查看
   《虚拟机VMware安装OracleRAC.环境综述》
     <四、使用虚拟机Linux操作系统>    -------设置启动的服务，安装rsh和ssh
   《虚拟机VMware安装OracleRAC.RedHat Enterprise AS4安装Oracle10g RAC》
     <六、设置节点机ORACLE的安装环境(各节点皆须设置)>
      4.配置hangcheck-timer               -------配置hangcheck-time
     
      
 (2) 关闭机器，挂载共享磁盘和分区，创建双网卡，开机，设置/etc/hosts
  详细内容请查看
   《虚拟机VMware安装OracleRAC.环境综述》
     <七、设置共享磁盘>                     -------挂载共享磁盘和分区
     <六、配置双机环境>                     
      A.双网卡                                   -------创建双网卡
      B.节点间hosts文件配置              -------设置/etc/hosts
 
  附本次环境/etc/hosts内容：
  [root@linuxrac1 oradata]# cat /etc/hosts
  # Do not remove the following line, or various programs
  # that require network functionality will fail.
  127.0.0.1       localhost.localdomain   localhost
  134.98.105.170  linuxrac1
  134.98.105.171  linuxrac2
  192.168.0.6     linuxrac1-priv
  192.168.0.9     linuxrac2-priv
  134.98.105.233  linuxrac1-vip
  134.98.105.232  linuxrac2-vip
 
 (3) 安装配置ocfs2
  详细内容请查看
   《虚拟机VMware安装OracleRAC.RedHat Enterprise AS4安装Oracle10g RAC》
     <四、安装配置OCFS2(oracle cluster file system)共享文件系统>   
     <五、格式化与自动挂载>            -------安装配置ocfs2
  
  附本次环境cluster.conf内容：
  [oracle@linuxrac1 bin]$ cat /etc/ocfs2/cluster.conf
  cluster:
          node_count = 2
          name = ocfs2
  node:
          ip_port = 7777
          ip_address = 134.98.105.170
          number = 0
          name = linuxrac1
          cluster = ocfs2
  node:
          ip_port = 7777
          ip_address = 134.98.105.171
          number = 1
          name = linuxrac2
          cluster = ocfs2  
           
 (4) 设置内核参数
  详细内容请查看
   《虚拟机VMware安装OracleRAC.RedHat Enterprise AS4安装Oracle10g RAC》
     <六、设置节点机ORACLE的安装环境(各节点皆须设置)>   
      1.设置内核参数                       -------设置内核参数
     
 (5) 创建oracle用户组，设置root,oracle环境变量
  详细内容请查看
   《虚拟机VMware安装OracleRAC.RedHat Enterprise AS4安装Oracle10g RAC》
     <六、设置节点机ORACLE的安装环境(各节点皆须设置)>   
      2.添加用户组                            -------创建oracle用户组
      3. .bash_profile 设置                -------设置root,oracle环境变量   
  
  附本次环境.bash_profile内容，root用户相同设置：   
  [oracle@linuxrac1 bin]$ cd
  [oracle@linuxrac1 ~]$ vi .bash_profile
  
  # .bash_profile
  
  # Get the aliases and functions
  if [ -f ~/.bashrc ]; then
          . ~/.bashrc
  fi
  
  # User specific environment and startup programs
  
  PATH=$PATH:$HOME/bin
  
  #ORACLE
  export LD_ASSUME_KERNEL=2.4.1
  
  export ORACLE_BASE=/oracle
  export ORACLE_HOME=$ORACLE_BASE/crs      #先装CRS，后台DB
  export ORACLE_SID=liwei1                             
  
  export CRS_HOME=$ORACLE_BASE/crs
  
  export ORA_NLS33=$ORACLE_HOME/ocommon/nls/admin/data
  
  #LIB,CLASS
  LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib
  LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
  
  export LD_LIBRARY_PATH
  export PATH=$PATH:$ORACLE_HOME/bin:$CRS_HOME/bin
  
  CLASSPATH=$CLASSPATH:$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib
  CLASSPATH=$CLASSPATH:$ORACLE_HOME/network/jlib
  export CLASSPATH
  
  
  unset USERNAME  
 
 (6) 复制另一台节点，配置两台机器的双网卡，测试/etc/hosts除VIP部分是否都可以ping通
  复制后，须要修改export ORACLE_SID=liwei1部分。
 
 (7) 配置rsh和ssh信任机制，配置节点机时间同步 
  详细内容请查看
  《虚拟机VMware安装OracleRAC.环境综述》
    <六、配置双机环境>                    
     C.节点间访问配置                        -------配置rsh和ssh信任机制
     D.节点间时间同步                        -------配置时间同步

七、安装CRS

 见《虚拟机VMware安装OracleRAC.RedHat Enterprise AS4安装Oracle10g RAC》
   <八、使用Oracle安装介质安装CRS>
   <九. 处理安装CRS失败>

八、安装DB

 见《虚拟机VMware安装OracleRAC.RedHat Enterprise AS4安装Oracle10g RAC》
   <十. 使用Oracle安装介质安装Database>
   <十一、处理安装Database失败>
   
九、配置监听

 见《虚拟机VMware安装OracleRAC.RedHat Enterprise AS4安装Oracle10g RAC》
   <十二、配置监听>

十、创建数据库

 见《虚拟机VMware安装OracleRAC.RedHat Enterprise AS4安装Oracle10g RAC》
   <十三、创建数据库>
   
 完成后，crs_stat 显示如下：
   
 [oracle@linuxrac1 ~]$ crs_stat -t
 Name           Type           Target    State     Host       
 ------------------------------------------------------------
 ora....C1.lsnr application    ONLINE    ONLINE    linuxrac1  
 ora....ac1.gsd application    ONLINE    ONLINE    linuxrac1  
 ora....ac1.ons application    ONLINE    ONLINE    linuxrac1  
 ora....ac1.vip application    ONLINE    ONLINE    linuxrac1  
 ora....C2.lsnr application    ONLINE    ONLINE    linuxrac2  
 ora....ac2.gsd application    ONLINE    ONLINE    linuxrac2  
 ora....ac2.ons application    ONLINE    ONLINE    linuxrac2  
 ora....ac2.vip application    ONLINE    ONLINE    linuxrac2  
 ora.liwei.db   application    ONLINE    ONLINE    linuxrac2  
 ora....iwei.cs application    ONLINE    ONLINE    linuxrac1  
 ora....ei1.srv application    ONLINE    ONLINE    linuxrac1  
 ora....ei2.srv application    ONLINE    ONLINE    linuxrac2  
 ora....i1.inst application    ONLINE    ONLINE    linuxrac1  
 ora....i2.inst application    ONLINE    ONLINE    linuxrac2

十一、关闭数据库过程(示例)

 (1) 关闭实例liwei1

 [oracle@linuxrac1 ~]$ srvctl stop instance -d liwei -i liwei1
 [oracle@linuxrac1 ~]$ crs_stat -t
 Name           Type           Target    State     Host       
 ------------------------------------------------------------
 ora....C1.lsnr application    ONLINE    ONLINE    linuxrac1  
 ora....ac1.gsd application    ONLINE    ONLINE    linuxrac1  
 ora....ac1.ons application    ONLINE    ONLINE    linuxrac1  
 ora....ac1.vip application    ONLINE    ONLINE    linuxrac1  
 ora....C2.lsnr application    ONLINE    ONLINE    linuxrac2  
 ora....ac2.gsd application    ONLINE    ONLINE    linuxrac2  
 ora....ac2.ons application    ONLINE    ONLINE    linuxrac2  
 ora....ac2.vip application    ONLINE    ONLINE    linuxrac2  
 ora.liwei.db   application    ONLINE    ONLINE    linuxrac2  
 ora....iwei.cs application    ONLINE    ONLINE    linuxrac1  
 ora....ei1.srv application    ONLINE    OFFLINE              
 ora....ei2.srv application    ONLINE    ONLINE    linuxrac2  
 ora....i1.inst application    OFFLINE   OFFLINE              
 ora....i2.inst application    ONLINE    ONLINE    linuxrac2

 (2) 关闭实例liwei2
 
 [oracle@linuxrac1 ~]$ srvctl stop instance -d liwei -i liwei2
 [oracle@linuxrac1 ~]$ crs_stat -t
 Name           Type           Target    State     Host       
 ------------------------------------------------------------
 ora....C1.lsnr application    ONLINE    ONLINE    linuxrac1  
 ora....ac1.gsd application    ONLINE    ONLINE    linuxrac1  
 ora....ac1.ons application    ONLINE    ONLINE    linuxrac1  
 ora....ac1.vip application    ONLINE    ONLINE    linuxrac1  
 ora....C2.lsnr application    ONLINE    ONLINE    linuxrac2  
 ora....ac2.gsd application    ONLINE    ONLINE    linuxrac2  
 ora....ac2.ons application    ONLINE    ONLINE    linuxrac2  
 ora....ac2.vip application    ONLINE    ONLINE    linuxrac2  
 ora.liwei.db   application    OFFLINE   OFFLINE              
 ora....iwei.cs application    OFFLINE   OFFLINE              
 ora....ei1.srv application    OFFLINE   OFFLINE              
 ora....ei2.srv application    OFFLINE   OFFLINE              
 ora....i1.inst application    OFFLINE   OFFLINE              
 ora....i2.inst application    OFFLINE   OFFLINE 

 (3) 关闭linuxrac1的crs应用
 
 [oracle@linuxrac1 ~]$ srvctl stop nodeapps -n linuxrac1
 [oracle@linuxrac1 ~]$ crs_stat -t
 Name           Type           Target    State     Host       
 ------------------------------------------------------------
 ora....C1.lsnr application    OFFLINE   OFFLINE              
 ora....ac1.gsd application    OFFLINE   OFFLINE              
 ora....ac1.ons application    OFFLINE   OFFLINE              
 ora....ac1.vip application    OFFLINE   OFFLINE              
 ora....C2.lsnr application    ONLINE    ONLINE    linuxrac2  
 ora....ac2.gsd application    ONLINE    ONLINE    linuxrac2  
 ora....ac2.ons application    ONLINE    ONLINE    linuxrac2  
 ora....ac2.vip application    ONLINE    ONLINE    linuxrac2  
 ora.liwei.db   application    OFFLINE   OFFLINE              
 ora....iwei.cs application    OFFLINE   OFFLINE              
 ora....ei1.srv application    OFFLINE   OFFLINE              
 ora....ei2.srv application    OFFLINE   OFFLINE              
 ora....i1.inst application    OFFLINE   OFFLINE              
 ora....i2.inst application    OFFLINE   OFFLINE  

 (4) 关闭linuxrac2的crs应用
 
 [oracle@linuxrac1 ~]$ srvctl stop nodeapps -n linuxrac2
 [oracle@linuxrac1 ~]$ crs_stat -t
 Name           Type           Target    State     Host       
 ------------------------------------------------------------
 ora....C1.lsnr application    OFFLINE   OFFLINE              
 ora....ac1.gsd application    OFFLINE   OFFLINE              
 ora....ac1.ons application    OFFLINE   OFFLINE              
 ora....ac1.vip application    OFFLINE   OFFLINE              
 ora....C2.lsnr application    OFFLINE   OFFLINE              
 ora....ac2.gsd application    OFFLINE   OFFLINE              
 ora....ac2.ons application    OFFLINE   OFFLINE              
 ora....ac2.vip application    OFFLINE   OFFLINE              
 ora.liwei.db   application    OFFLINE   OFFLINE              
 ora....iwei.cs application    OFFLINE   OFFLINE              
 ora....ei1.srv application    OFFLINE   OFFLINE              
 ora....ei2.srv application    OFFLINE   OFFLINE              
 ora....i1.inst application    OFFLINE   OFFLINE              
 ora....i2.inst application    OFFLINE   OFFLINE 

 (5) 停止双机CRS进程(双机root执行)
 
 [root@linuxrac1 ~]# crsctl check crs
 CSS appears healthy
 CRS appears healthy
 EVM appears healthy
 [root@linuxrac1 ~]# crsctl stop crs
 Stopping resources.
 Successfully stopped CRS resources
 Stopping CSSD.
 Shutting down CSS daemon.
 Shutdown request successfully issued.
 [root@linuxrac1 ~]#
 
 ps -ef  显示CRS只有类似如下进程
 
 root     18043     1  1 18:16 ?        00:00:00 /bin/sh /etc/init.d/init.crsd run
 root     18045     1  0 18:16 ?        00:00:00 /bin/sh /etc/init.d/init.evmd run
 root     18095     1  1 18:16 ?        00:00:00 /bin/sh /etc/init.d/init.cssd fatal
 root     18171 18045  0 18:16 ?        00:00:00 /bin/sleep 30
 root     18186 18095  0 18:16 ?        00:00:00 /bin/sleep 30
 root     18230 18043  0 18:16 ?        00:00:00 /bin/sleep 30 

 (6) 停止双机(双机root执行)

 [root@linuxrac1 ~]# poweroff
 
 Broadcast message from root (pts/3) (Mon Apr  7 19:10:39 2008):
 
 The system is going down for system halt NOW!
 
十二、启动单机(示例)

 [root@linuxrac1 ~]# crs_stat -t
 Name           Type           Target    State     Host       
 ------------------------------------------------------------
 ora....C1.lsnr application    ONLINE    ONLINE    linuxrac1  
 ora....ac1.gsd application    ONLINE    ONLINE    linuxrac1  
 ora....ac1.ons application    ONLINE    ONLINE    linuxrac1  
 ora....ac1.vip application    ONLINE    ONLINE    linuxrac1  
 ora....C2.lsnr application    ONLINE    OFFLINE            
 ora....ac2.gsd application    ONLINE    OFFLINE              
 ora....ac2.ons application    ONLINE    OFFLINE              
 ora....ac2.vip application    ONLINE    ONLINE    linuxrac1        
 ora.liwei.db   application    ONLINE    ONLINE    linuxrac1  
 ora....iwei.cs application    ONLINE    ONLINE    linuxrac1  
 ora....ei1.srv application    ONLINE    ONLINE    linuxrac1  
 ora....ei2.srv application    OFFLINE   OFFLINE              
 ora....i1.inst application    ONLINE    ONLINE    linuxrac1  
 ora....i2.inst application    ONLINE    OFFLINE 
 

十三、单机失去网络连接(示例)

 (1) 失去网络连接 lsnr vip 进程停掉
 
 [root@linuxrac1 ~]# crs_stat -t
 Name           Type           Target    State     Host       
 ------------------------------------------------------------
 ora....C1.lsnr application    ONLINE    OFFLINE              
 ora....ac1.gsd application    ONLINE    ONLINE    linuxrac1  
 ora....ac1.ons application    ONLINE    ONLINE    linuxrac1  
 ora....ac1.vip application    ONLINE    OFFLINE              
 ora....C2.lsnr application    ONLINE    OFFLINE              
 ora....ac2.gsd application    ONLINE    OFFLINE              
 ora....ac2.ons application    ONLINE    OFFLINE              
 ora....ac2.vip application    ONLINE    OFFLINE              
 ora.liwei.db   application    OFFLINE   OFFLINE              
 ora....iwei.cs application    ONLINE    ONLINE    linuxrac1  
 ora....ei1.srv application    ONLINE    ONLINE    linuxrac1  
 ora....ei2.srv application    ONLINE    OFFLINE              
 ora....i1.inst application    ONLINE    OFFLINE              
 ora....i2.inst application    ONLINE    OFFLINE     

 (2) 停止服务与实例
    
 [root@linuxrac1 ~]# srvctl stop service -h 
 [root@linuxrac1 ~]# crs_stat -t
 Name           Type           Target    State     Host       
 ------------------------------------------------------------
 ora....C1.lsnr application    ONLINE    OFFLINE              
 ora....ac1.gsd application    ONLINE    ONLINE    linuxrac1  
 ora....ac1.ons application    ONLINE    ONLINE    linuxrac1  
 ora....ac1.vip application    ONLINE    OFFLINE              
 ora....C2.lsnr application    ONLINE    OFFLINE              
 ora....ac2.gsd application    ONLINE    OFFLINE              
 ora....ac2.ons application    ONLINE    OFFLINE              
 ora....ac2.vip application    ONLINE    OFFLINE              
 ora.liwei.db   application    OFFLINE   OFFLINE              
 ora....iwei.cs application    OFFLINE   OFFLINE              
 ora....ei1.srv application    OFFLINE   OFFLINE              
 ora....ei2.srv application    OFFLINE   OFFLINE              
 ora....i1.inst application    ONLINE    OFFLINE              
 ora....i2.inst application    ONLINE    OFFLINE

 (3) 停止CRS应用
 
 [root@linuxrac1 ~]# srvctl stop nodeapps -n linuxrac1
 [root@linuxrac1 ~]# crs_stat -t
 Name           Type           Target    State     Host       
 ------------------------------------------------------------
 ora....C1.lsnr application    OFFLINE   OFFLINE              
 ora....ac1.gsd application    OFFLINE   OFFLINE              
 ora....ac1.ons application    OFFLINE   OFFLINE              
 ora....ac1.vip application    OFFLINE   OFFLINE              
 ora....C2.lsnr application    ONLINE    OFFLINE              
 ora....ac2.gsd application    ONLINE    OFFLINE              
 ora....ac2.ons application    ONLINE    OFFLINE              
 ora....ac2.vip application    ONLINE    OFFLINE              
 ora.liwei.db   application    OFFLINE   OFFLINE              
 ora....iwei.cs application    OFFLINE   OFFLINE              
 ora....ei1.srv application    OFFLINE   OFFLINE              
 ora....ei2.srv application    OFFLINE   OFFLINE              
 ora....i1.inst application    OFFLINE   OFFLINE              
 ora....i2.inst application    ONLINE    OFFLINE  

 (4) 启动CRS应用
 
 [root@linuxrac1 ~]# srvctl start nodeapps -n linuxrac1
 [root@linuxrac1 ~]# crs_stat -t
 Name           Type           Target    State     Host       
 ------------------------------------------------------------
 ora....C1.lsnr application    ONLINE    ONLINE    linuxrac1  
 ora....ac1.gsd application    ONLINE    ONLINE    linuxrac1  
 ora....ac1.ons application    ONLINE    ONLINE    linuxrac1  
 ora....ac1.vip application    ONLINE    ONLINE    linuxrac1  
 ora....C2.lsnr application    ONLINE    OFFLINE              
 ora....ac2.gsd application    ONLINE    OFFLINE              
 ora....ac2.ons application    ONLINE    OFFLINE              
 ora....ac2.vip application    ONLINE    OFFLINE              
 ora.liwei.db   application    OFFLINE   OFFLINE              
 ora....iwei.cs application    OFFLINE   OFFLINE              
 ora....ei1.srv application    OFFLINE   OFFLINE              
 ora....ei2.srv application    OFFLINE   OFFLINE              
 ora....i1.inst application    OFFLINE   OFFLINE              
 ora....i2.inst application    ONLINE    OFFLINE  

 (5) 启动服务与实例
 
 [root@linuxrac1 ~]# srvctl start service -d liwei
 [root@linuxrac1 ~]# crs_stat -t
 Name           Type           Target    State     Host       
 ------------------------------------------------------------
 ora....C1.lsnr application    ONLINE    ONLINE    linuxrac1  
 ora....ac1.gsd application    ONLINE    ONLINE    linuxrac1  
 ora....ac1.ons application    ONLINE    ONLINE    linuxrac1  
 ora....ac1.vip application    ONLINE    ONLINE    linuxrac1  
 ora....C2.lsnr application    ONLINE    OFFLINE              
 ora....ac2.gsd application    ONLINE    OFFLINE              
 ora....ac2.ons application    ONLINE    OFFLINE              
 ora....ac2.vip application    ONLINE    OFFLINE              
 ora.liwei.db   application    ONLINE    ONLINE    linuxrac1  
 ora....iwei.cs application    ONLINE    ONLINE    linuxrac1  
 ora....ei1.srv application    ONLINE    ONLINE    linuxrac1  
 ora....ei2.srv application    OFFLINE   OFFLINE              
 ora....i1.inst application    ONLINE    ONLINE    linuxrac1  
 ora....i2.inst application    ONLINE    OFFLINE