CentOS 7.6部署Oracle 11G R2 数据库RAC系统，可以提高业务的安全性、可靠性、易用性、容错性、稳定性。具体步骤如下：
1.Oracle RAC介绍。
Oracle RAC(Oracle Real Application Cluster) 11G 技术是一个ORACLE RAC的集群，它具有的优势是：容错高、安全性高、高负载均衡和可伸缩性。
ORACLE RAC组成：
系统：CentOS 7.6.1810 64位操作系统。
网络：一般ORACLE RAC需要业务公网、专用内网、存储网。最少3个网络，每个网络至少1个网口，最好每个网络使用双网卡绑定，这样提高安全性。 ens33用来连接公共网络，ens37用在Oracle RAC 专用互连和连接网络存储服务器openfiler来进行共享iSCSI 访问。生产级RAC需要专网仅供Oracle 传输cluster manager和cache fusion的数据。用第三个网络接口来访问网络存储服务器（openfiler）或者其他网络设备。
存储：这次以openfiler模拟IP-SAN 网络存储。线上生产系统的最好使用光纤存储交换机和光纤存储。在存储上这次划分了10个LUN分区。分别为OCR（Oracle 注册服务盘）、OCR MIRROR（ORACLE 注册服务盘镜像）、VOTEDISK（表决盘）、VOTEDISK MIRROR1（表决盘镜像1）、VOTEDISK MIRROR2（表决盘镜像2）、FRA闪回区、ARCHIVE 归档区、ARCHIVE MIRROR 归档镜像、DATA1（数据库数据盘）、DATA2（数据库数据盘镜像）。
Oracle 11G R2 RAC环境介绍：
Oracle RAC 节点和存储服务器配置：
节点1名称： racnode1 实例名称：racdb1 数据库名称：racdb 处理器：4CPU RAM：4G 操作系统：CentOS 7.6_64位。
节点2名称：racnode2 实例名称：racdb2 数据库名称：racdb 处理器：4CPU RAM:4G 操作系统：CentOS 7.6_64位。
Openfiler1存储服务器： 主机名称：openfiler1。 RAM：4G。 操作系统：openfiler-2.99.1。
网络配置：
节点1名称： racnode1 公共IP地址：192.168.163.136 专用IP地址：192.168.239.136 虚拟VIP地址：192.168.163.139
节点2名称： racnode2 公共IP地址：192.168.163.137 专用IP地址：192.168.239.137 虚拟VIP地址：192.168.163.140
节点1和节点2在安装过程中会需要设置SCAN 地址，SCAN 名称为：racnode-cluster-scan ， SCAN IP地址是：192.168.163.141。 SCAN IP 要与公共IP地址、虚拟VIP地址在一个网段内。
openfiler1节点：专有IP地址：192.168.239.138
软件配置：
软件组件分成Grid Infrastructure和ORACLE RAC。
其中grid用户，主组为oinstall。 辅助组为asmadmin、asmdba、asmoper、DBA和oper。主目录为/home/grid，Oracle基目录和主目录分别为/u01/app/grid和/u01/app/11.2.0/grid。
其中oracle用户，主组为oinstall。辅助组为dba、oper、asmdba。主目录为/home/oracle。 Oracle基目录和Oracle主目录分别为：/u01/app/oracle和
/u01/app/oracle/product/11.2.0/db_1。
Oracle 的目录还有一个是/u01/app/oraInventory的清单目录。
存储配置：
存储使用openfiler 模拟IP-SAN共享存储。存储分成10个LUN分区，其中2个 OCR LUN，3个VOTEDISK表决盘LUN分区，1个Flash Recovery Area的闪回区LUN，2个归档LUN，2个DATA数据LUN。
这些存储划分成ASM盘的时候，进行过重命名。分别为：ocr ocrmirror votdisk votdisk1 votdisk2 fra arch archmirror data datamirror。
因为使用存储划分磁盘组，来安装Oracle RAC的时候，需要把磁盘组分类别，分成External、Normal、High。 External代表磁盘组不做冗余，使用外部设备或者底层磁盘级配置冗余。 Normal 代表做磁盘组的冗余，也就是需要做镜像盘。 High代表高安全级冗余。 OCR和Votedisk表决盘所需磁盘分别为1、3、5，因为OCR和votedisk 表决盘必须为奇数。其他非OCR和Votedisk表决盘所需磁盘分别为1、2、3。
因为Oracle 11G RAC 把ocr和votedisk 合并了，所以我只把2块ocr的磁盘做成了external 的类型，磁盘空间为2块磁盘可用空间的和。
所有的10块磁盘，最后做出来的ASM卷组分别为CRS VOTEDISK FRA ARCH RACDB_DATA。
2.共享存储介绍及配置。
2.1 安装openfiler。
2.1.1下载
openfileresa-2.99.1-x86_64-disc1。然后安装到存储服务器，安装步骤和Linux相同。默认是可以打开界面的。会生成一个默认的IP地址，例如
:https://192.168.239.138:446/ 默认用户名是openfiler，密码默认是password。
2.1.2 安装完成系统后，设置固定IP地址，为存储网段的IP地址，这里设置成private网段的IP地址，并且修改好主机名。这里主机名设置为openfiler1,IP地址配置为192.168.239.138。
2.1.2.1 登录界面
http://192.168.239.138:446 后，点击services--ManageServices。点 击 iSCSI target server后的Enable，设置开机服务自启动。这时候可以登录到openfiler的系统里面执行#service iscsi-target status查看服务的状态，应该是is running的状态。
2.1.2.2 配置网络访问：
在system-network setup 界面配置网络访问，添加网络访问的权限。例如：添加racnode-priv1 192.168.239.136 255.255.255.255 share 、racnode-priv2 192.168.239.137 255.255.255.255 share、prive network 192.168.239.0 255.255.255.0 share。
2.1.3 添加一块磁盘到存储服务器。添加一块比较大容量的硬盘到存储服务器后，对这个盘进行分区。例如执行fdisk /dev/sdb n p 1 默认 默认 w。
然后登录到
https://192.168.239.138:446/的界面，选择volumes--Add Volume。添加一个卷组，卷组名称为racdbvg，容量选择全部的，文件系统选择xfs。
2.2 配置openfiler。
2.2.1.1 登录到
https://192.168.239.138:446/的界面，选择volume groups ，选择add volume group的按钮后，会出现已经建立好的卷组。
2.2.1.2 登录到
https://192.168.239.138:446/的界面后，选择a选择好之前创建的卷组。然后点击volume--add volume，然后创建好需要使用的10个卷组，并且划分好空间。
2.2.1.3 登录到
https://192.168.239.138:446/的界面，选择volume--iSCSI target后，选择target configuration，依次生成10个目标IQN。
例如：
iqn.2006-01.com.openfiler:racdb.ocr
iqn.2006-01.com.openfiler:racdb.ocrmirror
iqn.2006-01.com.openfiler:racdb.vot
iqn.2006-01.com.openfiler:racdb.votmirror1
iqn.2006-01.com.openfiler:racdb.votmirror2
iqn.2006-01.com.openfiler:racdb.fra
iqn.2006-01.com.openfiler:racdb.arch
iqn.2006-01.com.openfiler:racdb.archmirror
iqn.2006-01.com.openfiler:racdb.data
iqn.2006-01.com.openfiler:racdb.datamirror
2.2.1.4 做LUN Mapping磁盘LUN分区映射。
选择volume--iSCSI target 中的LUN Mapping按钮后，依次选择好已经添加好的逻辑卷名称， 选择R/W Mode 为write-thru，Transfer Mode为blockio，然后选择Map。
2.2.1.5 配置网络ACL 访问控制，分别选择映射好的LUN 分区，对iSCSI 当前的目标，把主机的access值由Deny 拒绝改成Allow 允许。
2.3 openfiler客户端配置。
2.3.1 安装iscsi 服务包。
#yum install iscsi-initiator-utils-*
#service iscsid start
#chkconfig iscsid on
#chkconfig iscsi on
2.3.1 分别登录到两个ORACLE RAC服务器系统，手动登录到iSCSI 目标。
#iscsiadm -m node -T iqn.2006-01.com.openfiler:racdb.ocr -l
#iscsiadm -m node -T iqn.2006-01.com.openfiler:racdb.ocrmirror -l
3.安装CentOS7.6操作系统。
4.网络配置。
5.Oracle NTP时钟同步。
6.安装openfiler 及挂载IP-SAN存储。
7.建立操作系统权限组、用户和目录。
8.下载及上传文件。
9.配置X终端登录和JDK环境。
10.配置SSH互信。
11.安装ASMlib2.0的ASM驱动。
12.执行Oracle Grid Infrastructure安装前检查。
13.安装Oracle Grid Infrastructure。
14.创建ASM磁盘组。
15.安装Oracle Database 11G R2软件。
16.安装Oracle Database 11G R2 Example数据库。
17.创建集群数据库。
18.创建后的任务。
18.1 修改提示字符：
grid用户和oracle用户修改glogin.sql文件：
$ vim
/u01/app/11.2.0/grid/sqlplus/admin/glogin.sql：
--
set linesize 132 pagesize 50
set sqlprompt "_user'@'_connect_identifier>"
define_editor=vim
18.2 修改用户名过期时间：
SQL> alter profile default limit failed_login_attempts unlimited password_life_time unlimited;
19.创建和更改表空间。
20.验证数据库功能。
21.验证集群配置。
22.客户端配置。
23.故障排除。
24.SQL语句讲解。
25.技术总结。
26.部署感悟。
