裸机部署准备
硬件
说明
为了提高可用性,降低数据丢失的风险,建议在单台计算机上只运行一个节点。KWDB 采用跨节点复制机制,如果在一台计算机上同时运行多个节点,当计算机发生故障时,更有可能丢失数据。
下表列出部署 KWDB 所需的硬件规格要求。在实际部署时,用户需要根据实际的业务规模和性能要求,规划硬件资源。
项目 | 要求 |
---|---|
CPU 和内存 | 单节点配置建议不低于 4 核 8G。对于数据量大、复杂的工作负载、高并发和高性能场景,建议配置更高的 CPU 和内存资源以确保系统的高效运行。 |
磁盘 | - 推荐使用 SSD 或者 NVMe 设备,尽量避免使用 NFS、CIFS、CEPH 等共享存储。 - 使用 HDD 硬盘部署单机版本时,避免设备数过多或每秒写入测点数过高,否则数据写入性能将显著下降;不建议使用 HDD 部署分布式集群版本。 - 磁盘至少能够实现 500 IOPS 和 30 MB/s 处理效率。 - KWDB 系统自身启动不会占用过多磁盘容量(低于 1G)。实际所需磁盘大小主要取决于用户的业务量以及是否开启 KWDB 压缩等可以减少原始数据磁盘占用的功能。用户可以结合下面的公式预估原始业务数据对磁盘的需求量: - 总存储空间 = 设备数量 x 单台设备每天写入行数 x 分区天数 x 总分区数 x (行宽/1024/1024+15/64/1000000)/1024。更多详细信息,参见预估磁盘使用量。 - 每个节点的存储空间 = 总存储空间/节点数 |
文件系统 | 建议使用 ext4 文件系统。 |
操作系统
KWDB 支持在以下服务器操作系统进行安装部署。
操作系统 | 版本 | 架构 |
---|---|---|
Anolis | 8.6 | ARM_64 |
8.6 | x86_64 | |
KylinOS | V10 SP3 2403 | ARM_64 |
V10 SP3 2303 | ARM_64 | |
V10 SP3 2403 | x86_64 | |
V10 SP3 2303 | x86_64 | |
Ubuntu | V18.04 | x86_64 |
V20.04 | ARM_64 | |
V20.04 | x86_64 | |
V22.04 | ARM_64 | |
V22.04 | x86_64 | |
V24.04 | ARM_64 | |
V24.04 | x86_64 | |
UOS | 1060e | x86_64 |
1060e | ARM_64 |
说明
- 未提及的操作系统版本也许可以运行 KWDB,但尚未得到 KWDB 官方支持。
- 如需获取下载页面未提供的对应版本安装包,请联系 KWDB 技术支持。
软件依赖
安装时,KWDB 会对依赖进行检查。如果缺少依赖会退出安装并提示依赖缺失。如果目标机器不能联网,用户需要在能联网的机器上根据目标机器的操作系统下载好所有依赖文件,然后将依赖文件复制到目标机器上进行安装。
KWDB 支持多种操作系统并提供多种形式的安装包。不同操作系统及安装包的依赖略有不同,请根据实际安装包类型及操作系统,在部署前安装好相应的依赖。下表列出需要在目标机器安装的依赖。
依赖 | 版本 | 说明 |
---|---|---|
OpenSSL | v1.1.1+ | N/A |
libprotobuf | v3.6.1+ | 注意:Ubuntu 18.04 默认的 libprotobuf 版本不满足要求,用户需要提前安装所需版本(推荐 3.6.1 和 3.12.4)。 |
GEOS | v3.3.8+ | 可选依赖 |
xz-libs | v5.2.0+ | N/A |
squashfs-tools | any | N/A |
libgcc | v7.3.0+ | N/A |
mount | any | N/A |
squashfuse | any | 可选依赖 |
端口
下表列出 KWDB 服务需要映射的端口。在安装部署前,确保目标机器的以下端口没有被占用且没有被防火墙拦截。在安装部署时,用户可以修改 deploy.cfg
文件中的端口配置参数。
端口号 | 说明 |
---|---|
8080 | 数据库 Web 服务端口 |
26257 | 数据库服务端口、节点监听端口和对外连接端口 |
安装包
获取系统环境对应的 DEB 或 RPM 安装包,将安装包复制到待安装 KWDB 的目标机器上,然后解压缩安装包:
tar -zxvf <package_name>
解压后生成的目录包含以下文件:
文件 | 说明 |
---|---|
add_user.sh | 安装、启动 KWDB 后,为 KWDB 数据库创建用户。 |
deploy.cfg | 安装部署配置文件,用于配置部署节点的 IP 地址、端口等配置信息。 |
deploy.sh | 安装部署脚本,用于安装、卸载、启动、状态获取、关停和重启等操作。 |
packages 目录 | 存放 DEB、RPM 和镜像包。 |
utils 目录 | 存放工具类脚本。 |
节点配置
SSH 免密登录
登录当前节点,生成公私密钥对。
ssh-keygen -f ~/.ssh/id_rsa -N ""
参数说明:
-f
:指定生成的密钥对文件名。-N
:指定使用密钥时的密码。为了实现非交互式登录,建议将密码设置为空。
将密钥分发至集群其它节点。
ssh-copy-id -f -i ~/.ssh/id_rsa.pub -o StrictHostKeyChecking=no <node1>
确认是否可以使用非交互式的方法登录集群其它节点。
ssh <node1>
时钟同步
KWDB 采用中等强度的时钟同步机制来维持数据的一致性。当节点检测到自身的机器时间与集群中至少 50% 的节点的机器时间的误差值超过集群最大允许时间误差值(默认为 500 ms)的 80% 时,该节点会自动停止,从而避免违反数据一致性,带来读写旧数据的风险。每个节点都必须运行 NTP(Network Time Protocol,网络时间协议)或其他时钟同步软件,防止时钟漂移得太远。
以下示例以 CentOS 7 为例,介绍如何配置时钟同步。
使用 SSH 连接到将要部署集群的节点。
关闭 timesyncd 服务。在一些 Linux 发行版中,默认开启 timesyncd 服务。
timedatectl set-ntp no
安装 NTP 服务。
sudo apt install ntp
关闭 NTP 后台进程。
service ntp stop
通过 NTP 服务同步机器时间。
ntpdate -u 0.cn.pool.ntp.org
打开
/etc/ntp.conf
文件,查找server
和pool
的相关配置并将其修改为如下内容。server 0.cn.pool.ntp.org iburst server 1.cn.pool.ntp.org iburst server 2.cn.pool.ntp.org iburst server 3.cn.pool.ntp.org iburst
保存修改并退出文本编辑器。
启动 NTP 服务。
service ntp start
在所有要安装 KWDB 服务的集群节点上重复执行以上步骤。