1、编号：时间：2021年x月x日书山有路勤为径，学海无涯苦作舟页码：第47页 共47页 FZPU双机安装文档 (Solaris 10 + Oracle 9i + SVM + Sun Cluster 3.1)文档版本：RC V1.0 编写作者 ：Fzpu 印刷约定 蓝色代表系统show run内容 红色代表注释参考资料:Sun Cluster 3.1 8/05 发行说明（适用于 Solaris OS）Sun Cluster 软件安装指南（适用于 Solaris OS）Sun Cluster 系统管理指南（适用于 Solaris OS） 用于 Oracle 的 Sun Cluster 数据服务指南（
2、适用于 Solaris OS）SolarisVolume Manager 管理指南Sun StorageTekCommon Array Manager 软件安装指南Sun StorageTek 6140 阵列硬件安装指南日 期：2008.11.1硬件环境：1） 管理工作站：无2） 服务器：2SUN V4903） 磁盘阵列：SUN Stortek 6140软件环境：1） Solaris 102） Sun Cluster 3.13） SunCluster agent for HA-Oracle4） Solaris Volume Manager主机命名规则：服务器：第一台V490：web-db1 ；
3、第二台V490：web-db2Sun cluster + oracle 安装规划（如表K-1所示）： 表K-1操作系统 Sun Solaris 10 05/08集群软件 Sun Cluster 3.1卷管理软件Solaris Volume Manager数据库软件 Oracle 9.2.1.0节点1 172.16.99.4节点2 172.16.99.5浮动IP地址 172.16.99.66子网掩码255.255.255.0网关 172.16.99.254IPMP测试IP地址 172.16.99.21 web-db1-ce0-test 172.16.99.22 web-db1-ce1-test
4、172.16.99.23 web-db2-ce0-test 172.16.99.24 web-db2-ce1-test节点1对应的主机名web-db1节点2对应的主机名web-db2Cluster名称fzpu-cluster系统用户oracle (dba组)浮动IP对应的主机名web-db一 服务器V490的安装： 1.安装前的规划每台服务器配有两个146G的硬盘做raid1，其中web-db1 有16G内存做主节点, web-db2有8G内存。系统安装好之后，两个节点的分区一致，避免出现不可预料的情况。按图 1的连接方式，使web-db1和web-db2同时连接6140，确保两台主机都能找到
5、Stortek 6140内的硬盘。图1:2.操作系统安装 1） 操作系统：Solaris 10注意：在安装操作系统的过程中千万要注意两台主机都不要接存储，不然的话两台主机的系统盘和Stortek 6140的Target 号会不一致，会对以后的安装产生影响。2） 安装操作系统EIS补丁详细步骤3) 按照以下的规划安装操作系统web-db1与web-db2相同(表K-2)：由于要安装SC3.1+svm，请预留系统盘的第5分区空间1G，用来建立/globaldevices，第七分区空间512MB用来放置metadb信息 注：/globaldevices - 创建一个512 兆字节的文件系统供scin
6、stall实用程序针对全局设备使用。（分片7）meta分区用于存放卷管理器的状态数据库副本在磁盘的最后一个分片上创建一个20 兆字节的分区供卷管理器使用。如果群集使用VERITAS Volume Manager (VxVM)并且您要封装根磁盘，则需要有两个未使用的盘片以供VxVM 使用。表K-2分区号 分区名分区大小 说明 0 / 91325 MB为分片1 至7 分配空间后磁盘中剩余的空闲空间。可供SolarisOS、Sun Cluster 软件、数据服务软件、卷管理器软件、SunManagement Center 代理和Sun Cluster 模块代理软件包、根文件系统以及数据库和应用程序软
7、件使用。 1 Swap 16G 2 Overlap139989 MB整个磁盘 3/var 20G 4/tmp10G 5/globaldevices1GBSun Cluster 软件稍后会给该盘片指定一个不同的装载点并将它装载为一个群集文件系统。 6未使用 7卷管理器512MBmetadb 专用文件系统和磁盘格式 下列汇总是你当前的文件系统和磁盘格式, 基于你所提供的信息. 注意: 如果你选择用户化, 则你应该了解文件系统, 它们在磁盘上的期望目的以及如何改变它们可能会影响系统的操作. 文件系统/安装点 硬盘/分片 大小 = / c1t1d0s0 91325 MB swap c1t1d0s1 1
8、6386 MB overlap c1t1d0s2 139989 MB /var c1t1d0s3 20481 MB /tmp c1t1d0s4 10245 MB /globaldevices c1t1d0s5 1033 MB c1t1d0s7 516 MB 4) 设置OBP变量local-mac-address为true，在OBP下：setenvlocal-mac-address? true或在Solaris下：eeprom local-mac-address?=true注：（此选项为solaris 多路径必须满足的条件，local-mac-address? 变量必须使用Ethernet 适配
9、器的默认值true。对于以太网适配器，Sun Cluster 软件不支持local-mac-address? 的值为false。此要求与Sun Cluster 3.0 不同，Sun Cluster 3.0 要求local-mac-address? 的值为false。）5) 配置/etc/hosts，输入所有cluster节点和逻辑主机IP记录：在两台主机上配置好IPMP连接两条ce口私网线 配置IPMPweb-db1的/etc/hosts信息# Internet host table#:1 localhost 127.0.0.1 localhost 172.16.99.4 web-db1 lo
10、ghost web-172.16.99.5 web-db2#IPMP test address172.16.99.21 web-db1-ce0-test172.16.99.22 web-db1-ce1-test#logic address172.16.99.66 web-db (全局逻辑地址)web-db1 的/etc/hostname.ce0信息web-db1 netmask + broadcast + group ipmp0 up addif web-db1-ce0-test netmask + broadcast + deprecated -failover upweb-db1 的/et
11、c/hostname.ce1信息web-db1-ce1-test netmask + broadcast + group ipmp0 deprecated -failover upweb-db2的/etc/hosts信息rootweb-db2 # cat /etc/hosts# Internet host table#:1 localhost 127.0.0.1 localhost 172.16.99.5 web-db2 loghost web-172.16.99.4 web-db1#IPMP test address172.16.99.23 web-db2-ce0-test172.16.99
12、.24 web-db2-ce1-test#logic address172.16.99.66 web-db (全局逻辑地址)web-db2的/etc/hostname.ce0信息web-db2 netmask + broadcast + group ipmp0 up addif web-db2-ce0-test netmask + broadcast + deprecated -failover upweb-db2的/etc/hostname.ce1信息web-db2-ce1-test netmask + broadcast + group ipmp0 deprecated -failover
13、 up以下在两机上完成6) 修改文件/etc/defaultrouter，设置缺省路由vi /etc/defaultrouter 172.16.99.2547) 修改文件/etc/system，加入以下3行：exclude: lofsset ce:ce_taskq_disable=1 二Stortek 6140安装识别.1配置StorEdge 6140：详细配置注：StorEdge 6140共有10块146GFC硬盘，其中8个硬盘做RAID5，剩下的2个做hot spare盘。由于sun cluster需要一个quorum盘， Oracle需使用raw做文件系统，所以划分了三个partion。
14、Quorum分区1024MB即可。让系统重新扫描硬件设备rootweb-db1 # reboot - -r 运行cfgadmal可以看见系统已经注册了控制器，只需启用多路径mpxio即可。 rootweb-db1 # cfgadm -alAp_Id Type Receptacle Occupant Conditionc0 scsi-bus connected configured unknownc0:dsk/c0t0d0 CD-ROM connected configured unknownc1 fc-private connected configured unknownc1:5000cca
15、00432dcc9 disk connected configured unknownc1:5000cca00432dce1 disk connected configured unknownc2 fc-private connected configured unknownc2:200400a0b82aaf01 disk connected configured unknownc3 fc-private connected configured unknownc3:200500a0b82aaf01 disk connected configured unknownusb0/1 usb-mou
16、se connected configured okusb0/2 usb-device connected configured okusb0/3 unknown empty unconfigured okusb0/4 unknown empty unconfigured okrootweb-db1 # ls -l /dev/fc总数 6lrwxrwxrwx 1 root root 51 12月 1日 12:55 fp0 - ././devices/pci8,600000/SUNW,qlc1/fp0,0:devctllrwxrwxrwx 1 root root 51 12月 1日 12:55
17、fp1 - ././devices/pci8,600000/SUNW,qlc2/fp0,0:devctllrwxrwxrwx 1 root root 51 12月 1日 12:55 fp2 - ././devices/pci9,600000/SUNW,qlc2/fp0,0:devctl注：（fp0,fp1为HBA卡上的光纤通道,fp2为本地的光线通道fp0,fp1开启多路径，fp2关闭多路径）rootweb-db1#vi /kernel/drv/fp.conf 添加如下语句。注释掉 #mpxio-disable=yes; parent=/pci8,600000/SUNW,qlc1 port=0
18、 mpxio-disable=no; name=fp parent=/pci8,600000/SUNW,qlc2 port=0 mpxio-disable=no; name=fp/ fp0,fp1开启多路径parent=/pci9,600000/SUNW,qlc2 port=0 mpxio-disable=yes; name=fp/ fp2关闭多路径注:（多路径软件用于管理指向共享群集存储设备的多个I/O 路径。对于Solaris 8 或Solaris 9 操作系统，安装并配置Sun StorEdge Traffic Manager 软对于Solaris 10 操作系统，启用Solaris 多
19、路径功能，此功能作为Solaris 10 软件的一部分已被默认安装。以上表明在HBA卡FC接口上启用mpxio，而不是全局启用。这样正常阵列设备识别的磁盘号就为长串字符，而本地磁盘识别的磁盘号为正常的cxtxsx，因为只是在FC口局部启用的多路径，而本地禁用多路径）rootweb-db1# stmsboot u WARNING: This operation will require a reboot.Do you want to continue ? y/n (default: y) yThe changes will come into effect after rebooting the
20、 system.Reboot the system now ? y/n (default: y) y在web-server2上执行相同的步骤可以看见盘阵已经变成multipath-devicesrootweb-db1 # formatSearching for disks.doneAVAILABLE DISK SELECTIONS: 0. c1t0d0 /pci9,600000/SUNW,qlc2/fp0,0/ssdw5000cca00432dcc9,0 1. c1t1d0 /pci9,600000/SUNW,qlc2/fp0,0/ssdw5000cca00432dce1,0 2. c4t60
21、0A0B80002A2B320000066F492B138Dd0 /scsi_vhci/ssdg600a0b80002a2b320000066f492b138d 3. c4t600A0B80002AAF00000007BF492B135Cd0 /scsi_vhci/ssdg600a0b80002aaf00000007bf492b135c 4. c4t600A0B80002AAF00000007C5492B13D6d0 /scsi_vhci/ssdg600a0b80002aaf00000007c5492b13d6Specify disk (enter its number):rootweb-db
22、2 # formatSearching for disks.doneAVAILABLE DISK SELECTIONS: 0. c1t0d0 /pci9,600000/SUNW,qlc2/fp0,0/ssdw21000000878d59a1,0 1. c1t1d0 /pci9,600000/SUNW,qlc2/fp0,0/ssdw21000000878d0ef5,0 2. c4t600A0B80002A2B320000066F492B138Dd0 /scsi_vhci/ssdg600a0b80002a2b320000066f492b138d 3. c4t600A0B80002AAF000000
23、07BF492B135Cd0 /scsi_vhci/ssdg600a0b80002aaf00000007bf492b135c 4. c4t600A0B80002AAF00000007C5492B13D6d0 /scsi_vhci/ssdg600a0b80002aaf00000007c5492b13d6三Cluster 软件安装配置1.Sun软件的安装双机软件采用sun公司的sun cluster3.1 ，此软件已经集成到JES（Java Enterprise System）软件包中。cd /var/spool/stage/JES_05Q4/Solaris_sparc可通过运行以下命令进行安装：
24、GUI mode:./installerCLI mode:./installer -nodisplay2. Sun Cluster环境配置两个节点通讯用rootweb-db1 # vi .rhosts +rootweb-db1 # vi /etc/hosts.equivweb-db1web-db2web-db 3，打EIS补丁软件安装完毕之后，也需要打补丁。不过sun cluster安装完毕之后，系统默认已经启动服务，安装补丁之前需停用sun cluster服务。（两个节点上做）安装完毕后，执行reboot - -x 重启之后不进入sun cluster环境安装SC3.1的patches；ro
25、otweb-db1 # lofiadm -a /opt/iso/eis-dvd.iso /dev/lofi/1rootweb-db1 # lofiadm Block Device File/dev/lofi/1 /opt/iso/eis-dvd.isorootweb-db1 # mount -F /dev/lofi/1 /mnt/iso/rootweb-db1 # mount -F hsfs /dev/lofi/1 /mnt/iso/rootweb-db1 # cd /mnt/iso/sun/installrootweb-db1 # ./setup-standard.shinit 6 重启系统
26、。rootweb-db1 # unpack-patches注：（进入cluster补丁包的目录，用这个命令一次打EIS补丁集）然后执行命令 init 6 重启系统。在web-db2上执行以上相同的步骤4.Scintall 配置配置主节点web-db1 具体内容摘录:rootweb-db1 # scinstall * 主菜单 * 请选择以下某一带 (*) 的选项： * 1) 安装群集或群集节点 2) 将群集配置为从此安装服务器中快速启动 3) 在此群集节点中添加对新数据服务的支持 4) 升级此群集节点 5) 打印此群集节点的发行信息 * ?) 菜单选项中的帮助 * q) 退出 选项： 1 * 安
27、装菜单 * 请选择以下任一选项： 1) 安装新群集的所有节点 2) 只将此机器安装为新群集的第一个节点 3) 将此机器添加为现有群集中的节点 ?) 菜单选项中的帮助 q) 返回主菜单 选项： 2 * 只安装新群集的第一个节点 * 此选项用于建立新的群集，该群集使用此机器作为其第一个节点。 安装群集框架软件之后，系统将要求您输入群集的名称。 然后，您可以运行 sccheck(1M) 来测试此机器是否满足 Sun Cluster 预配置的基本要求。 sccheck(1M) 通过后，系统将要求您输入最初将加入该群集的其他节点的名称 。除非此群集为单节点群集，否则系统还将要求您输入某些群集传输配置信息
28、 。 可以随时按 Control-d 组合键返回 主菜单。 是否要继续 (yes/no) yes? y 安装类型 群集名 检查 群集节点 群集节点 Type of Installation Autodiscovery of Cluster Transport Do you want to use autodiscovery (yes/no) yes?y9) Do you want scinstall to reboot for you (yes/no) yes? y 5.执行命令 scstat p 检查确认所有cluster节点都处于online状态；具体内容摘录:rootweb-db1 #
29、scstat -p- Cluster Nodes - Node name Status - - Cluster node: web-db1 Online Cluster node: web-db2 Online- Cluster Transport Paths - Endpoint Endpoint Status - - - Transport path: web-db1:ce1 WEB-DB2:ce1 Path online Transport path: web-db1:ce0 WEB-DB2:ce0 Path online- Quorum Summary - Quorum votes possible: 1 Q
