原文链接：【KWDB创作者计划】_部署KWDB多副本集群环境踩过的坑和经验总结-CSDN博客
作者：降世神童
1. 概述
KWDB是由开放原子开源基金会孵化及运营的开源项目，是一款面向AIoT场景的分布式多模数据库产品，支持在同一实例同时建立时序库和关系库并融合处理多模数据，具备千万级设备接入、百万级数据秒级写入、亿级数据秒级读取等时序数据高效处理能力，具有稳定安全、高可用、易运维等特点。
■ 部署方式分为：
● 二进制安装包：支持单机和集群以及安全和非安全部署模式，本篇博客就使用此种方式进行集群部署。
● 容器镜像：KWDB支持容器方式集群部署。
● 源码：源码编译目前支持单节点非安全模式部署。
2. 部署准备
KWDB-v2.2.0版本官方下载地址：https://gitee.com/kwdb/kwdb/releases/tag/V2.2.0
在部署过程中，系统将对配置文件、运行环境、硬件配置、软件依赖和免密登录进行检查。如果硬件不满足要求，系统仍会继续安装，并提示硬件规格不足。如果软件依赖未满足要求，系统将中止安装，并给出相应提示。
IP地址 |主机名|CPU|内存|硬盘|操作系统
10.1.248.95|kwdb|18核|16G|100G|Ubuntu20.04
10.1.248.74|kwdb|28核|16G|100G|Ubuntu20.04
10.1.248.75|kwdb|38核|16G|100G|Ubuntu20.04
2.1. 配置主机名
root@vm10-1-248-95:~# hostnamectl set-hostname kwdb1
root@vm10-1-248-74:~# hostnamectl set-hostname kwdb2
root@vm10-1-248-75:~# hostnamectl set-hostname kwdb3
配置三个节点的/etc/hosts文件：
10.1.248.95 kwdb1
10.1.248.74 kwdb2
10.1.248.75 kwdb3
2.2. SSH免密登录
先在kwdb1节点生成公私密钥对：
ssh-keygen -f ~/.ssh/id_rsa -N ""
将密钥分发至集群其它节点：
ssh-copy-id -f -i ~/.ssh/id_rsa.pub -o StrictHostKeyChecking=no kwdb1
ssh-copy-id -f -i ~/.ssh/id_rsa.pub -o StrictHostKeyChecking=no kwdb2
ssh-copy-id -f -i ~/.ssh/id_rsa.pub -o StrictHostKeyChecking=no kwdb3
确认是否可以使用非交互式的方法登录集群其它节点:
ssh kwdb2
ssh kwdb3
上述操作也需要在kwdb2和kwdb3也执行一遍。
2.3. 时钟同步
关闭 timesyncd 服务：
timedatectl set-ntp false
使用阿里云NTP服务器配置时钟同步：
apt install -y ntp
ntpdate -u time.pool.aliyun.com
crontab -e
0 6 * * * /usr/sbin/ntpdate -e time.pool.aliyun.com >/dev/null 2>&1
3. 裸机集群部署
3.1. 前提配置
mkdir -p /data/kaiwudb // 创建数据目录
tar xf KWDB-2.2.0-ubuntu20.04-x86_64-debs.tar.gz
cd kwdb_install/
vim deploy.cfg
[global]
# Whether to turn on secure mode
secure_mode=tls
# Management KaiwuDB user
management_user=kaiwudb
# KaiwuDB cluster http port
rest_port=8080
# KaiwuDB service port
kaiwudb_port=26257
# KaiwuDB data directory
#data_root=/var/lib/kaiwudb
data_root=/data/kaiwudb
# CPU usage[0-1]
# cpu=1
[local]
# local node configuration
node_addr=10.1.248.95
# section cluster is optional
[cluster]
# remote node addr,split by ','
node_addr=10.1.248.95,10.1.248.74,10.1.248.65
# ssh info
ssh_port=22
ssh_user=root
secure_mode：是否开启安全模式，支持以下两种设置：
● insecure：使用非安全模式。
● tls：（默认选项）开启 TLS 安全模式。开启安全模式后，KWDB 生成 TLS 证书，作为客户端或应用程序连接数据库的凭证。
特殊说明：本人认为此处KWDB设计不太友善，如果将secure_mode配置为insecure，也就是不使用TLS安全模式，但是在最后的KWDB客户端连接中还要指定--insecure选项，表示不安全的连接，有重复性配置。
kwbase sql --host=10.1.248.95:26257 --user=wangzy --insecure
在执行安装多副本集群命令之前，先安装依赖包，否则在安装过程中会报如下错误，注意三个节点都需要安装：
[ERROR] 2025-04-13 10:53:02 Install failed: Selecting previously unselected package kwdb-server. (Reading database ... 76572 files and directories currently installed.) Preparing to unpack .../kwdb-server_2.2.0-ubuntu-20.04_amd64.deb ... Unpacking kwdb-server (2.2.0-ubuntu-20.04) ... dpkg: dependency problems prevent configuration of kwdb-server: kwdb-server depends on libprotobuf17; however: Package libprotobuf17 is not installed. kwdb-server depends on squashfs-tools; however: Package squashfs-tools is not installed. dpkg: error processing package kwdb-server (--install): dependency problems - leaving unconfigured Errors were encountered while processing: kwdb-server
apt install -y openssl libprotobuf-dev protobuf-compiler libgeos-dev liblzma-dev squashfs-tools libgcc1 mount squashfuse
for pkg in openssl libprotobuf geos liblzma squashfs-tools libgcc mount squashfuse; do dpkg -l | grep $pkg;done
openssl1.1.1f-1ubuntu2.24
libprotobuf-dev:amd643.6.1.3-2ubuntu5.2
libprotobuf-lite17:amd643.6.1.3-2ubuntu5.2
libprotobuf17:amd643.6.1.3-2ubuntu5.2
libgeos-3.8.0:amd643.8.0-1build1
libgeos-c1v5:amd643.8.0-1build1
libgeos-dev3.8.0-1build1
liblzma-dev:amd645.2.4-1ubuntu1.1
liblzma5:amd645.2.4-1ubuntu1.1
squashfs-tools1:4.4-1ubuntu0.3
libgcc-9-dev:amd649.3.0-10ubuntu2
libgcc-s1:amd6410.5.0-1ubuntu1~20.04
libgcc11:10.5.0-1ubuntu1~20.04
libmount1:amd642.34-0.1ubuntu9
libsquashfuse0:amd640.1.103-2
mount2.34-0.1ubuntu9.6
squashfuse0.1.103-2
libsquashfuse0:amd640.1.103-2
squashfuse0.1.103-2
3.2. 部署执行
接下来再执行安装多副本集群命令，执行成功后，控制台输出以下信息：
root@kwdb1:~/kwdb_install# ./deploy.sh install --multi-replica
Please input kaiwudb's password:
[INSTALL COMPLETED]:KaiwuDB has been installed successfully! To start KaiwuDB, please execute the command 'systemctl daemon-reload'.
这一点KWDB还需要再完善下，只给一次输入密码的机会，建议再加一次确认密码，如果两次不一致用户创建失败。
根据系统提示重新加载 systemd 守护进程的配置文件：
root@kwdb1:~/kwdb_install# systemctl daemon-reload
对集群进行初始化：
root@kwdb1:~/kwdb_install# ./deploy.sh cluster --init
[INIT COMPLETED]:Cluster init successfully.
查看集群节点状态：
root@kwdb1:~/kwdb_install# ./deploy.sh cluster --status
id | address | sql_address | build | started_at | updated_at | locality | start_mode | is_available | is_live
-----+-------------------+-------------------+-------+----------------------------------+----------------------------------+--------------+------------+--------------+----------
1 | 10.1.248.95:26257 | 10.1.248.95:26257 | 2.2.0 | 2025-04-13 08:11:44.385779+00:00 | 2025-04-13 08:11:53.422494+00:00 | region=NODE1 | start | true | true
2 | 10.1.248.74:26257 | 10.1.248.74:26257 | 2.2.0 | 2025-04-13 08:11:44.490362+00:00 | 2025-04-13 08:11:53.495896+00:00 | region=NODE2 | start | true | true
3 | 10.1.248.65:26257 | 10.1.248.65:26257 | 2.2.0 | 2025-04-13 08:11:45.367234+00:00 | 2025-04-13 08:11:54.373949+00:00 | region=NODE3 | start | true | true
(3 rows)
在三个节点检查下kwdb端口和服务：
root@kwdb1:~/kwdb_install# systemctl status kaiwudb -l
● kaiwudb.service - KaiwuDB Service
Loaded: loaded (/etc/systemd/system/kaiwudb.service; disabled; vendor preset: enabled)
Active: active (running) since Sun 2025-04-13 11:32:03 CST; 9min ago
Process: 226456 ExecStartPre=/usr/bin/sudo /usr/sbin/sysctl -w vm.max_map_count=10000000 (code=exited, status=0/SUCCESS)
Main PID: 226466 (kwbase)
Tasks: 42 (limit: 19144)
Memory: 405.2M
CGroup: /system.slice/kaiwudb.service
└─226466 /usr/local/kaiwudb/bin/kwbase start --certs-dir=/etc/kaiwudb/certs --listen-addr=0.0.0.0:26257 --advertise-addr=0.0.0.0:26257
root@kwdb1:~/kwdb_install# ss -tnlp | grep 26257
LISTEN 0 4096 *:26257 *:* users:(("kwbase",pid=226466,fd=16))
root@kwdb1:~/kwdb_install# ss -tnlp | grep 8080
LISTEN 0 4096 *:8080 *:* users:(("kwbase",pid=226466,fd=10))
root@kwdb2:~# systemctl status kaiwudb
● kaiwudb.service - KaiwuDB Service
Loaded: loaded (/etc/systemd/system/kaiwudb.service; disabled; vendor preset: enabled)
Active: active (running) since Sun 2025-04-13 11:32:07 CST; 3min 56s ago
Process: 224238 ExecStartPre=/usr/bin/sudo /usr/sbin/sysctl -w vm.max_map_count=10000000 (code=exited, status=0/SUCCESS)
Main PID: 224245 (kwbase)
Tasks: 23 (limit: 19144)
Memory: 30.0M
CGroup: /system.slice/kaiwudb.service
└─224245 /usr/local/kaiwudb/bin/kwbase start --certs-dir=/etc/kaiwudb/certs --listen-addr=0.0.0.0:26257 --advertise-addr=10.1.248.74:26257
root@kwdb2:~# ss -tnlp | grep 26257
LISTEN 0 4096 *:26257 *:* users:(("kwbase",pid=224245,fd=16))
root@kwdb2:~# ss -tnlp | grep 8080
LISTEN 0 4096 *:8080 *:* users:(("kwbase",pid=224245,fd=10))
root@kwdb3:~# systemctl status kaiwudb
● kaiwudb.service - KaiwuDB Service
Loaded: loaded (/etc/systemd/system/kaiwudb.service; disabled; vendor preset: enabled)
Active: active (running) since Sun 2025-04-13 11:32:07 CST; 4min 8s ago
Process: 173040 ExecStartPre=/usr/bin/sudo /usr/sbin/sysctl -w vm.max_map_count=10000000 (code=exited, status=0/SUCCESS)
Main PID: 173043 (kwbase)
Tasks: 23 (limit: 19136)
Memory: 30.5M
CGroup: /system.slice/kaiwudb.service
└─173043 /usr/local/kaiwudb/bin/kwbase start --certs-dir=/etc/kaiwudb/certs --listen-addr=0.0.0.0:26257 --advertise-addr=10.1.248.65:26257
root@kwdb3:~# ss -tnlp | grep 26257
LISTEN 0 4096 *:26257 *:* users:(("kwbase",pid=173043,fd=16))
root@kwdb3:~# ss -tnlp | grep 8080
LISTEN 0 4096 *:8080 *:* users:(("kwbase",pid=173043,fd=10))
配置KWDB开机自启动后，如果系统重启，则自动启动KWDB：
systemctl enable kaiwudb
4. 集群优化配置
部署完成后，系统会将KWDB封装成系统服务，并生成kaiwudb.service 和kaiwudb_env两个文件。用户可以按需配置KWDB集群。
4.1. 配置启动参数
启动参数是节点级配置。如需修改整个集群的配置，用户需要登录集群中的每个节点并完成相应的配置。
通常情况下，如果用户没有配置启动参数，系统会使用参数默认值启动 KWDB。当用户配置了启动参数，KWDB 启动时会优先使用配置的启动参数。部署完 KWDB 后，用户可以按需修改kaiwudb_env文件中的启动参数。
● 停止KWDB服务：
systemctl stop kaiwudb
● 编辑/etc/kaiwudb/ｓｃｒｉｐｔ/kaiwudb_env文件，根据需要配置KWDB启动参数：
#KAIWUDB_START_ARG=""
KAIWUDB_START_ARG="--cache=10000"
● 保存kaiwudb_env文件并重新加载文件，最后启动KWDB服务：
systemctl daemon-reload
systemctl start kaiwudb
4.2. 配置CPU资源占用率
CPU资源占用率是节点级配置。如需修改整个集群的配置，用户需要登录集群中的每个节点并完成相应的配置。
KWDB支持在不停止KWDB服务的情况下实时修改CPU资源占用率：
● 编辑/etc/systemd/system/kaiwudb.service文件，根据需要修改KWDB的CPU资源占用率：
......
[Service]
User=kaiwudb
Group=kaiwudb
Type=simple
CPUQuota=240% # 添加CPUQuota值
LimitMEMLOCK=infinity
LimitNOFILE=1048576
......
CPUQuota的计算公式为：CPU占用率 x 服务器CPU核数 x 100%。例如，我部署环境的CPU核数为8，计划将 CPU占用率为0.3, 则对应的CPUQuota的值应为 0.3 x 8 x 100% = 240%
● 保存修改后的kaiwudb.service文件并重新加载文件：
systemctl daemon-reload
● 确认新的CPU资源占用率是否生效：
systemctl show kaiwudb | grep CPUQuota
CPUQuotaPerSecUSec=2.400000s
CPUQuotaPeriodUSec=infinity
5. 创建/删除用户
KWDB在安装包中提供了add_user.sh脚本。在安装并运行KWDB后，用户可以运行此脚本为数据库创建用户和密码，并使用创建的用户名和密码来连接、登录数据库。
root@kwdb1:~/kwdb_install# ./add_user.sh
Please enter the username:wangzy
Please enter the password:
[ADD USER COMPLETED]:User creation completed.
这一点KWDB还需要再完善下，只给一次输入密码的机会，如果自己输入错误，那么只能再去删除库删除后重新创建。建议再加一次确认密码，如果两次不一致用户创建失败。
使用新建的用户连接数据库：
root@kwdb1:~/kwdb_install# kwbase sql --host=10.1.248.95:26257 --certs-dir=/etc/kaiwudb/certs/ --user=wangzy
#
# Welcome to the KWDB SQL shell.
# All statements must be terminated by a semicolon.
# To exit, type: \q.
#
Enter password:
# Server version: KaiwuDB 2.2.0 (x86_64-linux-gnu, built 2025/03/31 07:20:47, go1.16.15, gcc 9.4.0) (same version as client)
# Cluster ID: 65071f3e-f4a4-48e4-9a4e-953f772bf661
#
# Enter \? for a brief introduction.
#
wangzy@10.1.248.95:26257/defaultdb> show databases;
database_name | engine_type
----------------+--------------
defaultdb | RELATIONAL
postgres | RELATIONAL
system | RELATIONAL
(3 rows)
Time: 5.441202ms
wangzy@10.1.248.95:26257/defaultdb> show users;
username | options | member_of
-----------+------------+------------
admin | CREATEROLE | {}
root | CREATEROLE | {admin}
wangzy | | {admin}
(3 rows)
Time: 18.748018ms
删除用户：
ｄｒｏｐ user wangzy;
6. 启动与停止KWDB服务
启动KWDB服务：
systemctl start kaiwudb
停止KWDB服务：
systemctl stop kaiwudb
7. 总结
KWDB（KaiwuDB）分企业版和开源版，企业版相比开源版的核心优势在于企业级可靠性、高性能和专属服务。KWDB可部署中心分布式架构，支持水平扩展，性能线性提升，并且支持多副本集群部署，保障集群整体的高可用性。提供低成本的数据存储，数据降采样存储；按“时间热度” 进行数据生命周期管理。提供可插拔式 AI分析预测能力，支持对模型的导、练、预、评、换。KWDB提供标准ODBC、JDBC、RESTful API 接口，提供多种编程语言接口， 兼容 MQTT (EMQX)、Kafka、Telegraf 等；兼容主流芯片和操作系统。支持身份鉴权、权限管理、数据库审计、支持通信加密。提供上百种监控接口，完善迁移方案支持。
评论(0)