《一文讲透》第4期：KWDB 数据库运维（5）—— 高可用
KaiwuDB 社区官方号
2025-01-02
物联网业务场景对高可用性有着十分严苛的要求，当发生硬件故障或者停机维护时，都需要数据库能够快速切换到备机以支撑业务持续运行，不间断地接收设备上传的数据，持续监控设备运行情况。在评估业务连续性能力时，需考虑以下两个重要指标：
RTO指发生计划内或者计划外的停机事件后，系统恢复到可对外提供服务所需的时间。例如，RTO=0 意味着在遇到停机事件时，业务运行没有任暂停，而 RTO=1 分钟表示遇到停机事件时，系统最多暂停服务1分钟便可恢复运行。
RPO指停机过程中丢失的用户数据量，通常以秒为单位计算。例如，RPO=0 意味着没有数据丢失，而 RPO=1 秒则意味着在停机并重启系统后，用户最多会丢失最后1秒录入系统的数据。
理想情况下，用户希望 RTO=0 并且 RPO=0，即在任何情况下，业务运行都可以连续提供服务，并且没有数据丢失。但这也意味着需要在系统设计时考虑硬件冗余、额外软件以及更多的资源使用成本，来实现高可用性目标。因此，实际中我们通常需要结合业务需求，设定合理的 RTO 与 RPO 目标，然后选择合适的高可用性方案。
KWDB 通常会先将目标分别细化为计划内和计划外场景下的 RTO 与 RPO，因为应对计划外停机事件的成本更高，计划外停机事件发生的机率也远低于计划内停机事件，用户可以为计划内停机场景设置更严格的 RTO 与 RPO 指标，而对计划外停机场景降低要求。
高可用性方案通常由多个重要技术组件共同构成，包括系统运行状态的监控与健康检查、集群高可用性策略的制定与管理、集群资源的管理、自动化脚本的编排与执行，以及数据复制等。数据复制是其中最核心、最基础的技术组件。对于 KWDB 数据库系统来说，数据复制技术减少停机过程中的数据丢失是首要任务。
KWDB 使用基于 DRBD 块设备复制的开源软件方案，来实现主备节点间的数据复制，使用 Pacemaker 方案用于监控运行状态，进行健康检查。Pacemaker 方案是 Linux-HA 工程的一部分，通过心跳服务和集群通信两项关键技术，构建了一个高可用集群，实现监控集群中各类资源的状态、执行实例漂移、主备切换等多种功能。
本文将描述如何使用 Pacemaker 来搭建和管理一个两节点的 KWDB 集群，提供高可用性。方案整体架构如下：
方案技术重点如下：
在主备节点各使用一个容量相等的块设备，用于 DRBD 主备复制。
主备节点的安装部署应保持完全一致。
将 DRBD 设备挂载到 data_root 所指目录，用于存放用户数据，并且通过 DRBD 复制软件进行同步复制。
CA 证书等文件，由于未存放在用户数据目录中，需要从主节点手工同步至备节点。
通过 systemd service 来管理数据库启停操作。
将 DRBD 设备、文件系统与 systemd service 等资源统一定义在 Pacemaker 集群软件中，通过 Pacemaker 进行状态监控和管理。
Distributed Replicated Block Device（DRBD），分布式复制块设备是一种基于软件的无共享复制存储解决方案，可以复制主机之间的块设备（硬盘、分区、逻辑卷等）的内容。DRBD 镜像数据具有以下特点：
实时：应用程序修改设备上的数据时，复制将连续进行。
透明：应用程序无需关心数据存储在多个主机上的细节。
同步或异步：DRBD 提供了同步和异步复制两种模式。使用同步镜像数据模式时，只有所有连接的主机都完成写操作后，才会通知应用程序写完成。使用异步镜像数据模式时，本地完成写入时（通常在镜像数据传输到其他节点前）就会通知应用程序写入完成。
由于多模数据库的高可用性主要关注机房内单台设备故障时，如何利用备机来尽快恢复运行，保障系统整体的连续可用，对于异地灾备的需求不多。此外，考虑到时序数据通常不使用事务处理机制，没有额外的 Write-Ahead-Log 事务日志来保障写入数据不在计划外停机事件中丢失。在设计基于块设备复制的高可用性方案时，用户可优先考虑使用同步复制协议来保障数据的一致性。
准备环境
以下表格为高可用方案的硬件和软件环境要求：
（1）硬件要求:
项目 | 要求 |
CPU 和内存
| 单节点配置建议不低于4核8G。 数据量大、复杂的工作负载、高并发和高性能场景下，建议配置更高 CPU 和内存。 |
磁盘
| 推荐使用 SSD 或者 NVMe 设备，尽量避免使用共享存储如 NFS、CIFS，CEPH 等。 磁盘必须能够实现 500 IOPS 和 30MB/s 处理效率。 KWDB 系统自身启动不会占用过多磁盘容量 （低于 1G），实际所需磁盘大小主要取决于用户的业务量以及是否开启 KWDB 压缩等可以减少原始数据磁盘占用的功能。用户可以结合下面的公式预估原始业务数据对磁盘的需求量： 压缩前空间：总存储空间=设备数量*单台设备每天写入行数*分区天数*总分区数*(行宽/1024/1024+15/64/分片可存储的最大数据行数/500/1000)/1024，单位为GB。 压缩后空间：总存储空间=设备数量*单台设备每天写入行数*分区天数*总分区数*(行宽/1024/1024/压缩比+15/64/分片可存储的最大数据行数/500/1000)/1024，单位为GB。更多参数信息见《KWDB 2.0.4 运维手册》硬件章节。 每个节点存储空间=总存储空间/节点数 |
文件系统 | 建议使用 ext4 文件系统。 |
网卡 | 千兆或万兆 |
（2）软件要求：
名称 | 版本 |
操作系统 | Ubuntu20.04 |
DRDB | 9.11.0 |
KWDB | KWDB-2.0.3.2-ubuntu20.04-x86_64-debs.tar.gz |
OpenTelemetry | 1.8.1 |
Pacemaker | 2.0.3 |
配置 IP 地址和主机名
在主备节点的 /etc/hosts 文件中配置主机的IP地址和主机名。示例：
192.168.0.231ha-node02 192.168.0.232ha-node03
配置非交互式 SSH 登录
（1）登录主节点后，通过以下命令生成公私密钥对：
ssh-keygen -f ~/.ssh/id_rsa -N ""
参数说明：
-f：指定生成的密钥对文件名。
-N：指定使用密钥时的密码，为了实现非交互式登录，将密码设置为空。
（2）将密钥分发至至备节点：
ssh-copy-id -f -i ~/.ssh/id_rsa.pub -o StrictHostKeyChecking=no <secondary_node>
（3）检查在主节点是否可以用非交互式的方法登录目标节点：
ssh <secondary_node>
（4）登录备节点，配置非交互式 ssh 登录主节点。
关闭相关设置：
（1）查看系统的 /bin/sh：
ls -al /bin/sh
（2）分别登录主备节点执行以下命令，然后选择 no。
sudo dpkg-reconfigure dash
（3）在主备节点停止并禁用 multipathd.socket、multipath-tools 和 multipath：
systemctlstop multipathd.socketsystemctldisable multipathd.socketsystemctlstop multipath-tools.servicesystemctldisable multipath-tools.servicesystemctlstop multipathsystemctldisable multipath
方案本文以 Ubuntu 20.04 为例，安装的 Pacemaker 版本为 2.0.3，命令行接口工具 pcs 的版本为 0.10.4。不同发行版本的 Linux 系统，或者不同版本的 Pacemaker 软件，操作时的命令格式可能会有所不同部署。
搭建 Pacemaker 集群
前提条件：
主备节点的IP地址在同一子网内，同一子网内还有未分配使用的IP地址，用于建立虚拟IP地址(virtual IP)。
主备节点已通过NTP协议进行时间同步，可以通过安装 chrony 包来实现 NTP 时间同步。
主备节点已配置非交互式ssh登录。
具体步骤：
（1）在主备节点安装 Pacemaker 软件包：
apt install pacemaker corosync pcs
安装完成之后系统会默认创建 hacluster 用户。
（2）授权操作用户
a. 在主备节点设置 hacluster 用户密码：
passwd hacluster #示例：将密码设置为hacluster示例：
b. 在任一节点销毁软件安装后自动建立的默认集群：
pcs cluster destroy
c. 在任一节点授权用户管理节点，根据系统提示输入密码：
pcs host auth ha-node02 ha-node03 -u hacluster
其中 ha-node02 和 ha-node03 为主备节点的主机名。
（3）在任一节点创建并启动高可用集群
pcs cluster setup <cluster_name><primary_node><secondary_node> --start --enable --force
参数说明：
cluster_name：新创建的高可用集群名称。
primary_node：集群主节点的主机名。
secondary_node：集群备节点的主机名。
--enable:启动操作系统时自动启动集群。
--force：删除之前残留的集群配置信息。
示例：
pcs cluster setup ha-cluster ha-node02 ha-node03 --start --enable --force
执行结果示例：
（4）在任一节点配置强行关机协议：
pcs property set stonith-enabled=false pcs property setno-quorum-policy=ignore
（5）在任一节点检查集群状态：
pcs status
返回结果示例：
（6）在任一节点配置第一个集群资源：
pcs resource create ClusterIP ocf:heartbeat:IPaddr2 ip=<virtualip address> cidr_netmask=24 op monitor interval=30s
填写虚拟IP。资源名字是ClusterIP。
（7）检查资源状态（可选）：
pcs resource
返回结果示例：
root@ha-node02:/etc# pcs resource create ClusterIP ocf:heartbeat:IPaddr2 ip=192.168.0.173 cidr_netmask=24 op monitor interval=30sroot@ha-node02:/etc# pcs resourceClusterIP (ocf::heartbeat:IPaddr2): Started ha-node02
此时 ClusterIP 资源在 ha-node02 节点上启动。也可以通过 arp -vn 命令来检查虚拟 IP 地址的 MAC 地址是否和主节点的网卡 MAC 地址一致。
（8）在任一节点上模拟计划内停机事件来测试资源漂移：
pcsnode standby ha-node02#这两条命令中间间隔一小段时间，等活动节点切到ha-node03。pcs node unstandby ha-node02
Pacemaker 集群会自动将 ClusterIP 资源漂移到备节点上。
（9）检查资源漂移结果，也可通过 arp -vn 命令来确认漂移成功（可选）：
pcs resource
结果示例：
root@ha-node03:~# pcs node standby ha-node02 root@ha-node03:~# pcs resource ClusterIP (ocf::heartbeat:IPaddr2): Started ha-node03
建立 DRBD 复制关系
前提条件：
已在主备节点预备容量相等的块设备，可以是硬盘、硬盘分区或 LVM 卷。
本文以 Ubuntu 20.04 为例，安装的 DRDB 版本为 9.11.0。不同版本的 Linux 系统或者 DRDB 软件操作时的命令格式可能有所不同。 如果用磁盘或磁盘分区，例如 /dev/sdd，需要通过 udevadm info /dev/sdd 获取到 DEVLINKS=/dev/disk/by-id/scsi-36f80f41ffaf5a00028e0acde21f326ff 作为该磁盘的唯一标识符使用，因为磁盘或磁盘分区名称会因为系统重启而变化。
具体步骤：
（1）在主备节点安装 DRDB 软件：
apt install drbd-utils
配置类型建议选择“No configuration”。
（2）在主备节点配置 DRDB 参数:
a.切换至 /etc/drbd.d 目录
cd /etc/drbd.d
b.修改 global_common.conf和*.res 配置文件。global_common.conf 定义了 DRBD 软件全局性的参数以及默认参数；*.res 配置文件逐一定义通过 DRBD 复制的块设备资源，名称支持用户自定义。
global_common.conf 文件示例：
# DRBD is the result of over a decade of development by LINBIT.# In case you need professional services for DRBD or have# feature requests visit http://www.linbit.comglobal{usage-countno; # minor-count dialog-refresh disable-ip-verification # cmd-timeout-short 5; cmd-timeout-medium 121; cmd-timeout-long 600;}common{protocolC;handlers{ # These are EXAMPLE handlers only. # They may have severe implications, # like hard resetting the node under certain circumstances. # Be careful when chosing your poison. # pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f"; # pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f"; # local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f"; # fence-peer "/usr/lib/drbd/crm-fence-peer.sh"; # split-brain "/usr/lib/drbd/notify-split-brain.sh root"; # out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root"; # before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k"; # after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;}startup{ # wfc-timeout degr-wfc-timeout outdated-wfc-timeout wait-after-sb}options{ # cpu-mask on-no-data-accessible}disk{ # size on-io-error fencing disk-barrier disk-flushes # disk-drain md-flushes resync-rate resync-after al-extents # c-plan-ahead c-delay-target c-fill-target c-max-rate # c-min-rate disk-timeouton-io-errordetach;no-disk-flushes;no-md-flushes;}net{ # protocol timeout max-epoch-size max-buffers # connect-int ping-int sndbuf-size rcvbuf-size ko-count # allow-two-primaries cram-hmac-alg shared-secret after-sb-0pri # after-sb-1pri after-sb-2pri always-asbp rr-conflict # ping-timeout data-integrity-alg tcp-cork on-congestion # congestion-fill congestion-extents csums-alg verify-alg # use-rlesndbuf-size512k;max-buffers8000;max-epoch-size8000;unplug-watermark1024;cram-hmac-alg"sha1";shared-secret"justaverificationtest"; #after-sb-0pri disconnect; #after-sb-1pri disconnect; #after-sb-2pri disconnect;after-sb-0pridiscard-zero-changes;after-sb-1pridiscard-secondary;after-sb-2pridisconnect;rr-conflictdisconnect; }syncer{rate330M;al-extents517;verify-algcrc32c;}}*.res 文件（drbd3.res）示例：
resource drbd3 { ##与文件名相同on ha-node02 { ##主节点主机名 device /dev/drbd3; ##自定义设备名称 disk /dev/sde; ##挂载的供同步的磁盘盘符 address 192.168.0.231:7789; ##主节点IP meta-disk internal; }on ha-node03 { ##备节点主机名 device /dev/drbd3; ##自定义设备名称 disk /dev/sde; ##挂载的供同步的磁盘盘符 address 192.168.0.232:7789; ##备节点IP meta-disk internal; }}在以上示例中，我们在主节点 (ha-node02) 将块设备复制到备节点 (ha-node03) 的同名块设备上。DRBD 会产生新的块设备。
（3）配置文件生效后，在主备节点都执行以下命令写入元数据：
drbdadmcreate-md drbd3drbdadmadjust all
（4）登录主节点，通过以下命令启动主备复制：
注：此命令只需第一次初始化复制时执行，会覆盖备节点磁盘中所有的数据。
drbdadm -- --overwrite-data-of-peer primary drbd3
命令执行后即启动初始化复制，根据存储大小复制可能会持续执行较长一段时间。可以通过 drbdadm status drbd3 命令查看复制进度。
root@ha-node02:/etc/drbd.d# drbdadm status drbd3drbd3role:Secondarydisk:Inconsistentpeerrole:Primaryreplication:SyncTarget peer-disk:UpToDate done:24.90root@ha-node03:/etc/drbd.d# drbdadm status drbd3drbd3role:Primarydisk:UpToDatepeerrole:Secondary congested:yesreplication:SyncSource peer-disk:Inconsistent done:25.28
复制完成之后，主节点上的块设备复制资源将自动设置为 primary 角色，备节点上的对应资源会自动变成 secondary 角色
root@ha-node02:/etc/drbd.d# drbdadm status drbd3drbd3role:Secondarydisk:UpToDatepeerrole:Primaryreplication:Established peer-disk:UpToDateroot@ha-node03:/etc/drbd.d# drbdadm status drbd3drbd3role:Primarydisk:UpToDatepeerrole:Secondaryreplication:Established peer-disk:UpToDate
（5）完成复制之后，即可在主节点的块设备上创建文件系统：
mkfs.ext4 /dev/drbd3
部署高可用环境
（1）在主备节点创建数据库目录，示例：
mkdir –p /var/lib/kwdb
（2）在资源活动节点挂载文件系统，示例：
mount /dev/drbd3 /var/lib/kwdb
（3）登录任一节点，在 Pacemaker 高可用集群中创建 DRDB 资源，由 Pacemaker 统一管理 DRDB 复制：
pcs resource create KaiwuData ocf:linbit:drbd drbd_resource="drbd3" op monitor interval=10spcs resource promotable KaiwuData promoted-max=1 promoted-node-max=1clone-max=2clone-node-max=1 notify=truepcs resourcerefresh KaiwuData
（4）在任一节点检查 Pacemaker 集群中 DRBD 资源的状态，示例：
pcsresource* CloneSet: KaiwuData-clone[KaiwuData] (promotable): * Promoted: [ ha-node03 ] * Stopped: [ ha-node02 ]
如果发现资源状态不正确，可先通过 drbdadm status 命令检查 DRDB 状态；如果仍有问题，可以通过 systemctl restart drbd 命令重启 DRDB 服务来尝试修复。
（5）在任一节点定义 Filesystem 资源以及 Filesystem 资源与 DRBD 资源的依赖关系，由 Pacemaker 管理主备切换时的挂载操作，示例：
pcs resource create KaiwuFS ocf:heartbeat:Filesystem device="/dev/drbd3"directory="/var/lib/kwdb" fstype="ext4"pcs constraint colocation add KaiwuFS with KaiwuData-cloneINFINITY with-rsc-role=Masterpcs constraintorder promote KaiwuData-clonethenstart KaiwuFS
（6）在备节点安装 KWDB
pcsnode standby <primary_node>#这两条命令中间间隔一小段时间，等活动节点切到备节点。pcs node unstandby <primary_node>
b. 安装部署 KWDB ，具体可参见《一文讲透》第1期：KWDB 单点安装部署
（7）在主节点安装 KWDB
a. 确保 DRBD 和 Filesystem 资源的活跃节点为主节点。
b. 安装部署 KWDB ，具体可参见《一文讲透》第1期：KWDB 单点安装部署
c. 配置主节点证书也允许通过备节点 ip 和 vip 来访问。
先删除主节点/etc/KWDB/certs目录下已有的node.crt、node.key文件。再在主节点执行：kwbase cert create-node 主节点ip 备节点ip 对外的vip 127.0.0.10.0.0.0 localhost --certs-dir=/etc/KWDB/certs --ca-key=ca.key参考示例：kwbase cert create-node 192.168.0.231192.168.0.232192.168.0.173127.0.0.10.0.0.0 localhost --certs-dir=/etc/KWDB/certs --ca-key=ca.key
scp /etc/KWDB/certs/* ha-node03:/etc/KWDB/certs/
8. 在任一节点的 Pacemaker 集群中定义 KWDB 数据库资源以及与其它资源的依赖关系：
pcs resource create KWDB systemd:KWDB.service op monitor on-fail=restartpcs resourcedefaultsmigration-threshold=2pcs resource meta KWDB failure-timeout=10spcs constraint colocation add KWDB with KaiwuFS INFINITYpcs constraintorderstart KaiwuFS thenstart KWDBpcs resource group add KWDBGrp KaiwuFS KWDB
9. 在任一节点创建虚拟IP地址与数据库资源之间的依赖关系：
pcs constraint colocation add ClusterIP with KWDB INFINITY
# 查询数据库showdatabases;# 创建数据库createdatabase test1;# 切换数据库use test1;# 建表createtable t1(idint,namevarchar(50));# 写入数据insertinto t1 values(1,'test1');#查询数据ｓｅｌｅｃｔ * from t1;
pcs node standby ha-node02
4. 将主节点设置为在线状态：
pcs node unstandby ha-node02
# 查看数据库 showdatabases;# 切换数据库use test1;# 查询已有数据库 ｓｅｌｅｃｔ * from t1;# 创建数据库 createdatabase test2;# 切换数据库use test2;# 建表 createtable t2(idint,namevarchar(50));# 数据写入insertinto t2 values(1,'test2'),(2,'test2_delete');# 查询数据 ｓｅｌｅｃｔ * from t2;# 删除数据 deletefrom t2 whereid=2;# 查询数据 ｓｅｌｅｃｔ * from t2;
常用 Pacemaker 操作指令
pcs cluster setup ...
pcs cluster destroy
2. 节点管理：
pcs node standby
pcs node unstandby
3. 资源管理：
pcs resource create ...
pcs resource remove
4. 约束管理：
pcs constraint colocation ...
常用 DRBD 复制操作指令
drbdadm --overwrite-data-of-peer primary
drbdadm status
drbdmon
以上就是 KWDB 高可用的内容分享，更多精彩后续欢迎关注我们！
关注官方微信
