一、安装前准备
读写分离集群安装部署前需要额外注意操作系统、CPU、网络环境和磁盘 IO 配置情况,其他环境配置项建议请参考安装前准备工作。
1.1 硬件环境建议
1.1.1 操作系统检查
心跳网络方面:
- 集群间的心跳网络要走数据,最好走两个交换机,来实现冗余和负载均衡。
- 需要把服务器多个心跳网卡绑定为一个逻辑网卡来使用(比如bond方式)。
- 交换机速度建议至少为千兆。
存储方面:
- 需要在每台机器上挂在独立存储,其中主机所在机器挂载的存储建议大一些。
- 需要格式化好,且所有机器挂载路径保持一致。
- 在空间不够用时,要求支持在挂载目录上直接进行扩充。
- 文件系统建议使用ext4。
1.1.2 CPU 架构检查
国产化工作开展以来,国产化芯片种类很多,作为数据库集群来说,需要确保各节点服务器的 CPU 一致。不同芯片的性能不同,如果各节点服务器的 CPU 不一致,则会严重影响集群的整体性能,从而影响整体服务响应的效果。在正式生产环境中,建议使用统一配置的服务器。
1.1.3 网络环境
心跳网络对 mal 通讯系统的影响非常大,如果网络丢包或者延迟较大,则会严重影响 mal 系统的处理能力,从而导致整个集群出现响应服务请求慢的情况。为确保集群的稳定性,网络配置如下:
- 使用千兆或千兆以上网络;
- 集群间的心跳网络需同步数据,建议尽量使用两个交换机构建内网,以实现冗余和负载均衡;
- 建议服务器采用两个网卡绑定为一个逻辑网卡来使用(比如 bond 方式)。
1.1.4 磁盘IO
磁盘 IO 的读写速率会极大影响系统性能和用户体验。因此在进行集群安装部署前,应测试 IO 性能能否满足系统功能和性能需求。
IO 性能指标与系统的并发数、热点数据等因素往往密切相关。在数据守护集群,尤其生产系统中,推荐使用高性能 SSD 磁盘,以获得更佳性能,保证集群数据的实时同步。
1.2 集群规划
读写分离集群规划
A机器 | B机器 | C机器 | |
业务IP | 172.16.1.1 | 172.16.1.2 | 172.16.1.3 |
心跳IP | 192.168.1.1 | 192.168.1.2 | 192.168.1.3 |
实例名 | RWC1_01 | RWC1_01B | RWC1_02B |
实例端口 | 5236 | 5236 | 5236 |
MAL端口 | 5336 | 5336 | 5336 |
MAL守护进程端口 | 5436 | 5436 | 5436 |
守护进程端口 | 5536 | 5536 | 5536 |
OGUID | 45331 | ||
守护组 | GRWC1 | ||
安装目录 | /opt/dmdbms | ||
实例目录 | /dmdata | ||
归档上限 | 51200 | ||
确认监视器IP | 10.10.10.10 |
1.3 集群架构
二、配置A机器
2.1 初始化实例并配置归档
--初始化实例
[dmdba@~]# /opt/dmdbms/bin/dminit PATH=/dmdata INSTANCE_NAME=RWC1_01 PAGE_SIZE=32 LOG_SIZE=2048
--前台启动
[dmdba@~]# /opt/dmdbms/bin/dmserver /dmdata/DAMENG/dm.ini
--另开窗口 - 连接数据库 - 开启归档日志
[dmdba@~]# /opt/dmdbms/bin/disql SYSDBA/SYSDBA@172.16.1.1:5236
SQL> ALTER DATABASE MOUNT;
SQL> ALTER DATABASE ARCHIVELOG;
SQL> ALTER DATABASE ADD ARCHIVELOG 'DEST=/dmarch, TYPE=LOCAL, FILE_SIZE=1024, SPACE_LIMIT=51200';
SQL> ALTER DATABASE OPEN;
--关闭前台实例服务 - 然后使用dmrman进行冷备
[dmdba@~]# /opt/dmdbms/bin/dmrman
RMAN> BACKUP DATABASE '/dmdata/DAMENG/dm.ini' BACKUPSET '/dmbak/BACKUP_FILE';
--修改dm.ini配置文件[文件中修改即可]
SQL> SP_SET_PARA_VALUE (2,'PORT_NUM',5236);
SQL> SP_SET_PARA_VALUE (2,'DW_INACTIVE_INTERVAL',60);
SQL> SP_SET_PARA_VALUE (2,'ALTER_MODE_STATUS',0);
SQL> SP_SET_PARA_VALUE (2,'ENABLE_OFFLINE_TS',2);
SQL> SP_SET_PARA_VALUE (2,'MAL_INI',1);
SQL> SP_SET_PARA_VALUE (2,'TIMER_INI',1);
SQL> SP_SET_PARA_VALUE (2,'RLOG_SEND_APPLY_MON',64);
2.2 替换dmarch.ini
[dmdba@~]# vi /dmdata/DAMENG/dmarch.ini
ARCH_WAIT_APPLY = 1 #1表示事务一致模式,0表示高性能模式
[ARCHIVE_LOCAL]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /dmarch/ #本地归档存放路径
ARCH_FILE_SIZE = 1024 #单个归档大小,单位MB
ARCH_SPACE_LIMIT = 51200 #归档上限,单位MB
[ARCHIVE_TIMELY1]
ARCH_TYPE = TIMELY #即时归档类型
ARCH_DEST = RWC1_01B #即时归档目标实例名
[ARCHIVE_ASYNC]
ARCH_TYPE = ASYNC #异步归档类型
ARCH_DEST = RWC1_02B #异步归档目标实例名
ARCH_TIMER_NAME = RT_TIMER #定时器名称,和dmtimer.ini中的名称一致
2.3 创建dmmal.ini
[dmdba@~]# vi /dmdata/DAMENG/dmmal.ini
MAL_CHECK_INTERVAL = 10 #MAL链路检测时间间隔
MAL_CONN_FAIL_INTERVAL = 10 #判定MAL链路断开的时间
MAL_TEMP_PATH = /dmdata/malpath/ #临时文件目录
MAL_BUF_SIZE = 512 #单个MAL缓存大小,单位MB
MAL_SYS_BUF_SIZE = 2048 #MAL总大小限制,单位MB
MAL_COMPRESS_LEVEL = 0 #MAL消息压缩等级,0表示不压缩
[MAL_INST1]
MAL_INST_NAME = RWC1_01 #实例名,和 dm.ini的INSTANCE_NAME一致
MAL_HOST = 192.168.1.1 #MAL系统监听TCP连接的IP地址
MAL_PORT = 5336 #MAL系统监听TCP连接的端口
MAL_INST_HOST = 172.16.1.1 #实例的对外服务IP地址
MAL_INST_PORT = 5236 #实例对外服务端口,和dm.ini的PORT_NUM一致
MAL_DW_PORT = 5436 #实例对应的守护进程监听TCP连接的端口
MAL_INST_DW_PORT = 5536 #实例监听守护进程TCP连接的端口
[MAL_INST2]
MAL_INST_NAME = RWC1_01B
MAL_HOST = 192.168.1.2
MAL_PORT = 5336
MAL_INST_HOST = 172.16.1.2
MAL_INST_PORT = 5236
MAL_DW_PORT = 5436
MAL_INST_DW_PORT = 5536
[MAL_INST3]
MAL_INST_NAME = RWC1_02B
MAL_HOST = 192.168.1.3
MAL_PORT = 5336
MAL_INST_HOST = 172.16.1.3
MAL_INST_PORT = 5236
MAL_DW_PORT = 5436
MAL_INST_DW_PORT = 5536
2.4 创建dmwatcher.ini
[dmdba@~]# vi /dmdata/DAMENG/dmwatcher.ini
[GRWC1]
DW_TYPE = GLOBAL #全局守护类型
DW_MODE = AUTO #故障自动切换模式
DW_ERROR_TIME = 20 #远程守护进程故障认定时间
INST_ERROR_TIME = 20 #本地实例故障认定时间
INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间
INST_OGUID = 45331 #守护系统唯一OGUID值
INST_INI = /dmdata/DAMENG/dm.ini #dm.ini文件路径
INST_AUTO_RESTART = 1 #打开实例的自动启动功能
INST_STARTUP_CMD = /opt/dmdbms/bin/dmserver #命令行方式启动
RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阈值,默认关闭
RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阈值,默认关闭
2.5 创建dmtimer.ini-两种配置选其一
[dmdba@~]# vi /dmdata/DAMENG/dmtimer.ini
#定时器配置为每一周的每一天的每一分钟触发主库发送归档日志到异步备库
[RT_TIMER] #和dmarch.ini中的ARCH_TIMER_NAME一致
TYPE = 2 #按日执行
FREQ_MONTH_WEEK_INTERVAL = 1 #间隔周数或月数
FREQ_SUB_INTERVAL = 1 #间隔天数
FREQ_MINUTE_INTERVAL = 1 #间隔分钟数
START_TIME = 00:00:00 #开始时间
END_TIME = 00:00:00 #结束时间
DURING_START_DATE = 2020-01-01 01:01:01 #开始时间点
DURING_END_DATE = 9999-12-31 23:59:59 #结束时间点
NO_END_DATE_FLAG = 1 #是否结束标记
DESCRIBE = RT TIMER #定时器描述
IS_VALID = 1 #开启定时器
[dmdba@~]# vi /opt/dmdbms/data/DAMENG/dmtimer.ini
#定时器配置为每天02:00:00触发主库发送归档日志到异步备库
[RT_TIMER] #和dmarch.ini中的ARCH_TIMER_NAME一致
TYPE = 2 #按日执行
FREQ_MONTH_WEEK_INTERVAL = 1 #间隔周数或月数
FREQ_SUB_INTERVAL = 0 #间隔天数
FREQ_MINUTE_INTERVAL = 0 #间隔分钟数
START_TIME = 02:00:00 #开始时间
END_TIME = 02:00:00 #结束时间
DURING_START_DATE = 2020-01-01 01:01:01 #开始时间点
DURING_END_DATE = 9999-12-31 23:59:59 #结束时间点
NO_END_DATE_FLAG = 1 #是否结束标记
DESCRIBE = RT TIMER #定时器描述
IS_VALID = 1 #开启定时器
2.6 传输实例到其他机器
--拷贝实例到B机器、C机器
[dmdba@~]# scp -r /dmdata/DAMENG dmdba@192.168.1.2:/dmdata/
[dmdba@~]# scp -r /dmdata/DAMENG dmdba@192.168.1.3:/dmdata/
2.7 注册服务
--注册dmserver服务
[root@~]# /opt/dmdbms/script/root/dm_service_installer.sh -t dmserver -p RWC1_01 -dm_ini /dmdata/DAMENG/dm.ini -m mount
--注册dmwatcher服务
[root@~]# /opt/dmdbms/script/root/dm_service_installer.sh -t dmwatcher -p Watcher -watcher_ini /dmdata/DAMENG/dmwatcher.ini
--备注:删除自启
[root@~]# /opt/dmdbms/script/root/dm_service_uninstaller.sh -n DmServiceRWC1_01
[root@~]# /opt/dmdbms/script/root/dm_service_uninstaller.sh -n DmWatcherServiceWatcher
三、配置B机器
3.1 修改dm.ini
[dmdba@~]# vi /dmdata/DAMENG/dm.ini
INSTANCE_NAME = RWC1_01B #数据库实例名
3.2 替换dmarch.ini
[dmdba@~]# vi /dmdata/DAMENG/dmarch.ini
ARCH_WAIT_APPLY = 1 #1表示事务一致模式,0表示高性能模式
[ARCHIVE_LOCAL]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /dmarch/ #本地归档存放路径
ARCH_FILE_SIZE = 1024 #单个归档大小,单位MB
ARCH_SPACE_LIMIT = 51200 #归档上限,单位MB
[ARCHIVE_TIMELY1]
ARCH_TYPE = TIMELY #实时归档类型
ARCH_DEST = RWC1_01 #即时归档目标实例名
[ARCHIVE_ASYNC]
ARCH_TYPE = ASYNC #异步归档类型
ARCH_DEST = RWC1_02B #异步归档目标实例名
ARCH_TIMER_NAME = RT_TIMER #定时器名称,和dmtimer.ini中的名称一致
3.3 相同配置项
与A机器RWC1_01的dmmal.ini、dmwatcher.ini、dmtimer.ini相同
3.4 注册服务
[root@~]# /opt/dmdbms/script/root/dm_service_installer.sh -t dmserver -p RWC1_01B -dm_ini /dmdata/DAMENG/dm.ini -m mount
[root@~]# /opt/dmdbms/script/root/dm_service_installer.sh -t dmwatcher -p Watcher -watcher_ini /dmdata/DAMENG/dmwatcher.ini
--备注:删除自启
[root@~]# /opt/dmdbms/script/root/dm_service_uninstaller.sh -n DmServiceRWC1_01B
[root@~]# /opt/dmdbms/script/root/dm_service_uninstaller.sh -n DmWatcherServiceWatcher
3.5 恢复数据
[dmdba@~]# /opt/dmdbms/bin/dmrman CTLSTMT="RESTORE DATABASE '/dmdata/DAMENG/dm.ini' FROM BACKUPSET '/opt/dmdbms/data/DAMENG/bak/BACKUP_FILE'"
[dmdba@~]# /opt/dmdbms/bin/dmrman CTLSTMT="RECOVER DATABASE '/dmdata/DAMENG/dm.ini' FROM BACKUPSET '/opt/dmdbms/data/DAMENG/bak/BACKUP_FILE'"
[dmdba@~]# /opt/dmdbms/bin/dmrman CTLSTMT="RECOVER DATABASE '/dmdata/DAMENG/dm.ini' UPDATE DB_MAGIC"
四、配置C机器
4.1 修改dm.ini
[dmdba@~]# vi /dmdata/DAMENG/dm.ini
INSTANCE_NAME = RWC1_02B #数据库实例名
4.2 替换dmarch.ini
[dmdba@~]# vi /dmdata/DAMENG/dmarch.ini
[ARCHIVE_LOCAL]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /dmarch/ #本地归档存放路径
ARCH_FILE_SIZE = 1024 #单个归档大小,单位MB
ARCH_SPACE_LIMIT = 51200 #归档上限,单位MB
4.3 创建dmwatcher.ini
[dmdba@~]# vi /dmdata/DAMENG/dmwatcher.ini
[GRWC1]
DW_TYPE = LOCAL #本地守护类型
DW_MODE = MANUAL #故障手动切换模式
DW_ERROR_TIME = 20 #远程守护进程故障认定时间
INST_ERROR_TIME = 20 #本地实例故障认定时间
INST_OGUID = 45331 #守护系统唯一OGUID值
INST_INI = /dmdata/DAMENG/dm.ini #dm.ini文件路径
INST_AUTO_RESTART = 1 #打开实例的自动启动功能
INST_STARTUP_CMD = /opt/dmdbms/bin/dmserver #命令行方式启动
4.4 相同配置项
与A机器RWC1_01的dmmal.ini、dmtimer.ini相同
4.5 注册服务
[root@~]# /opt/dmdbms/script/root/dm_service_installer.sh -t dmserver -p RWC1_02B -dm_ini /dmdata/DAMENG/dm.ini -m mount
[root@~]# /opt/dmdbms/script/root/dm_service_installer.sh -t dmwatcher -p Watcher -watcher_ini /dmdata/DAMENG/dmwatcher.ini
--备注:删除自启
[root@~]# /opt/dmdbms/script/root/dm_service_uninstaller.sh -n DmServiceRWC1_02B
[root@~]# /opt/dmdbms/script/root/dm_service_uninstaller.sh -n DmWatcherServiceWatcher
4.6 恢复数据
[dmdba@~]# /opt/dmdbms/bin/dmrman CTLSTMT="RESTORE DATABASE '/dmdata/DAMENG/dm.ini' FROM BACKUPSET '/dmbak/BACKUP_FILE'"
[dmdba@~]# /opt/dmdbms/bin/dmrman CTLSTMT="RECOVER DATABASE '/dmdata/DAMENG/dm.ini' FROM BACKUPSET '/dmbak/BACKUP_FILE'"
[dmdba@~]# /opt/dmdbms/bin/dmrman CTLSTMT="RECOVER DATABASE '/dmdata/DAMENG/dm.ini' UPDATE DB_MAGIC"
五、配置监视器
- 在各节点数据库的bin目录中 存放非确认监视器配置文件。
- 在确认监视器机器上(非集群节点) 注册确认监视器自启服务。
5.1 创建dmmonitor.ini
[dmdba@~]# vi /dmdata/DAMENG/dmmonitor.ini
MON_DW_CONFIRM = 1 #0为非确认,1为确认
MON_LOG_PATH = /opt/dmdbms/log #监视器日志文件存放路径
MON_LOG_INTERVAL = 60 #每隔 60s 定时记录系统信息到日志文件
MON_LOG_FILE_SIZE = 512 #单个日志大小,单位MB
MON_LOG_SPACE_LIMIT = 2048 #日志上限,单位MB
[GRWC1]
MON_INST_OGUID = 45331 #组GRWC1的唯一OGUID 值
MON_DW_IP = 192.168.1.1:5436 #IP对应MAL_HOST,PORT对应MAL_DW_PORT
MON_DW_IP = 192.168.1.2:5436
MON_DW_IP = 192.168.1.3:5436
5.2 注册服务
[root@~]# /opt/dmdbms/script/root/dm_service_installer.sh -t dmmonitor -p Monitor -monitor_ini /dmdata/DAMENG/dmmonitor.ini
--备注:删除自启
[root@~]# /opt/dmdbms/script/root/dm_service_uninstaller.sh -n DmMonitorServiceMonitor
5.3 监视器的使用
命令 | 含义 |
list | 查看守护进程的配置信息 |
show global info | 查看所有实例组的信息 |
tip | 查看系统当前运行状态 |
login | 登录监视器 |
logout | 退出登录 |
choose switchover GRP1 | 主机正常:查看可切换为主机的实例列表 |
switchover GRP1.实例名 | 主机正常:使用指定组的指定实例,切换为主机 |
choose takeover GRP1 | 主机故障:查看可切换为主机的实例列表 |
takeover GRP1.实例名 | 主机故障:使用指定组的指定实例,切换为主机 |
choose takeover force GRP1 | 强制切换:查看可切换为主机的实例列表 |
takeover force GRP1.实例名 | 强制切换:使用指定组的指定实例,切换为主机 |
备注:主机故障后,在备机执行
SELECT SF_DW_CHECK_TAKEOVER();
【1:可接管 0:不可接管】
六、启动服务及查看信息
6.1 启动数据库并修改参数
- A机器
[dmdba@~]# /opt/dmdbms/bin/DmServiceRWC1_01 start
[dmdba@~]# /opt/dmdbms/bin/disql SYSDBA/SYSDBA@172.16.1.1:5236
SQL> SP_SET_OGUID(45331);
SQL> ALTER DATABASE PRIMARY;
- B机器
[dmdba@~]# /opt/dmdbms/bin/DmServiceRWC1_01B start
[dmdba@~]# /opt/dmdbms/bin/disql SYSDBA/SYSDBA@172.16.1.2:5236
SQL> SP_SET_OGUID(45331);
SQL> ALTER DATABASE STANDBY;
- C机器
[dmdba@~]# /opt/dmdbms/bin/DmServiceRWC1_02B start
[dmdba@~]# /opt/dmdbms/bin/disql SYSDBA/SYSDBA@172.16.1.3:5236
SQL> SP_SET_OGUID(45331);
SQL> ALTER DATABASE STANDBY;
6.2 启动守护进程
A/B/C机器
[dmdba@~]# /opt/dmdbms/bin/DmWatcherServiceWatcher start
6.3 启动监视器
[dmdba@~]# /opt/dmdbms/bin/DmMonitorServiceMonitor start
备注:
前台启动:[dmdba@~]# /opt/dmdbms/bin/dmmonitor /opt/dmdbms/bin/dmmonitor.ini
6.4 启停集群顺序
6.4.1 启动
启动:A机器RWC1_01主库→B机器RWC1_01B备库→C机器RWC1_02B备库→A/B/C机器数据库进程
启动各数据库进程【按顺序】
A机器:[dmdba@~]# /opt/dmdbms/bin/DmServiceRWC1_01 start
B机器:[dmdba@~]# /opt/dmdbms/bin/DmServiceRWC1_01B start
C机器:[dmdba@~]# /opt/dmdbms/bin/DmServiceRWC1_02B start
启动A/B/C机器守护进程
A/B/C机器:[dmdba@~]# /opt/dmdbms/bin/DmWatcherServiceWatcher start
6.4.2 停止
停止:A/B/C机器守护进程→A机器RWC1_01主库→B机器RWC1_01B备库→C机器RWC1_02B备库
停止A/B/C机器守护进程
A/B/C机器:[dmdba@~]# /opt/dmdbms/bin/DmWatcherServiceWatcher stop
停止各机器数据库进程【按顺序】
A机器:[dmdba@~]# /opt/dmdbms/bin/DmServiceRWC1_01 stop
B机器:[dmdba@~]# /opt/dmdbms/bin/DmServiceRWC1_01B stop
C机器:[dmdba@~]# /opt/dmdbms/bin/DmServiceRWC1_02B stop
七、配置应用连接
Linux环境:dm_svc.conf放在应用服务器/etc目录下。
Windows32环境:dm_svc.conf放在应用服务器System32目录下。
Windows64环境:dm_svc.conf放在应用服务器System32和SysWOW64目录下。
7.1 创建dm_svc.conf
[root@~]# vi /etc/dm_svc.conf
TIME_ZONE=(+8:00)
LANGUAGE=(cn)
RWC1=(172.16.1.1:5236,172.16.1.2:5236)
[RWC1]
LOGIN_MODE=(1)
RW_SEPARATE=(1)
RW_PERCENT=(25)
SWITCH_TIME=(300)
SWITCH_INTERVAL=(200)
7.2 应用连接
<DRIVER>dm.jdbc.driver.DmDriver</DRIVER>
<URL>jdbc:dm://RWC1</URL>