存储管理

存储路径设置

默认存储路径和系统要求

下表列出了 KaiwuDB 各类文件的默认存储路径、文件系统和配置信息。

文件	默认路径	大小	文件系统	配置参数
数据文件	/var/lib/kaiwudb	取决于存储数据的大小	- 建议使用 ext4 文件系统。 - 如果存储大于 16 TB 的数据，建议使用 XFS 系统。	- 部署配置文件中的 data_root 参数 - --store 启动参数
日志	/var/lib/kaiwudb/logs	默认 1G，可配置	建议使用 ext4 文件系统。	--log-dir 启动参数
证书	/etc/kaiwudb/certs	N/A	建议使用 ext4 文件系统。	--certs-dir 启动参数
二进制文件	/usr/local/kaiwudb/bin	> 200 M	建议使用 ext4 文件系统。	N/A
动态库文件	/usr/local/kaiwudb/lib	> 100 M	建议使用 ext4 文件系统。	N/A

说明

如果采用 Docker 容器部署，则使用宿主机路径，系统自动进行挂载。

存储路径设置

KaiwuDB 支持以下存储路径设置方式：

• 安装时通过修改 deploy.cfg 文件中的 data_root 参数自定义数据路径。
• 部署完成后，用户也可以通过修改部署生成的 kaiwudb_env 文件、 docker-compose.yml 文件或 kwbase start 命令修改存储路径。

冷热数据分级存储

KaiwuDB 通过分级存储机制智能管理时序数据。系统会根据数据的采集时间，自动将数据存储到热温冷级别的存储目录中，同时支持根据热温数据的保存时长自动将数据迁移到合适的存储层级。

这一机制不仅优化了存储资源的使用，还在保障数据访问性能的同时，有效降低存储成本。

时序冷热数据分级存储功能默认关闭，如果节点已经启动，用户完成分级存储目录设置后，需要重启节点才能使配置生效。在分布式集群中，每个节点需要单独配置，未配置的节点将保持分级存储功能关闭。

存储目录类型

存储目录分为主存储目录和普通存储目录。

• 主存储目录：时序数据的默认存储目录，默认存储级别为 0 级。

  • 时序数据默认与关系数据存储在 KaiwuDB 部署时，deploy.cfg 文件中自定义的数据路径。裸机部署时，时序数据默认存储在 /var/lib/kaiwudb 下的 tsdb 子目录。容器部署时，系统将使用宿主机路径并自动挂载。
  • KaiwuDB 同时支持用户通过 --ts-store 启动参数自定义时序数据的存储路径，将时序数据与关系数据分开存储。此时，--ts-store 参数指定的路径为主存储目录。有关启动参数的配置说明，参见启动参数配置。

• 普通存储目录：除主存储目录之外的其他存储目录，无默认优先级。用户可通过 ts_tier.cfg 配置文件灵活设置目录和存储级别。

存储目录配置

KaiwuDB 启动后，系统将自动在主存储目录创建 ts_tier.cfg 文件，用于管理主存储目录和普通存储目录。用户也可以在启动前在主存储目录手动创建 ts_tier.cfg 文件，提前完成存储目录和冷热级别设置。

ts_tier.cfg 文件采用 CSV 格式，配置格式如下：

<dir_path>, <level>

其中：

• dir_path ：普通存储目录的具体路径，主存储目录路径无需添加到配置文件中。
• level：存储目录的冷热级别，支持设置为 0、1、2，分别对应“热”、“温”、“冷”级别。注意：冷热级别设置只支持 0,1,2 或 0,1 两种组合方式。

配置示例：

/data0/kwdb1,0
/data1/kwdb2,0
/data2/kwdb3,1
/data3/kwdb4,1
/data4/kwdb5,2

KaiwuDB 支持用户在线添加普通存储目录，以应对实际时序写入量的变化。完成目录配置后，需要重启当前节点，配置才能生效。

注意

• 添加 0 级磁盘可以增加磁盘 IO, 提升数据写入和查询性能。由于 1 级和 2 级磁盘的 IO 低于 0 级磁盘，添加过多 1 级和 2 级磁盘可能会影响查询性能。
• 如果同一层级的目录已写满，分布式集群中的该节点将进入宕机状态。
• 目前不支持删除配置文件中已添加的存储目录。如果删除的目录中已写入数据，并且取消了对应设备的挂载，将导致数据丢失。

数据分级管理

用户可以通过以下 SQL 命令定义热、温、冷数据的划分规则：

SET CLUSTER SETTING ts.tier.duration = "<period>,<period>";

默认设置为 30d,90d，表示:

• 30 天内采集的时序数据为热数据，存储在 0 级存储目录。
• 30 至 90 天内采集的时序数据为温数据，存储在 1 级存储目录。
• 90 天以上的数据为冷数据，存储在 2 级存储目录。

冷数据的存储时长不受时间设置的影响，实际存储时间取决于数据的生命周期。

时间单位只支持 d (天)。 系统将根据时间变化自动由热到温或温到冷迁移数据。

提示

如果仅设置了 0 级和 1 级存储目录，温数据的时间设置将不再生效，数据迁移到 1 级存储目录后，将按照数据的生命周期进行保存，直到生命周期结束。

数据重组

时序数据重组是指按照特定规则对原始数据进行清理和整理的过程，主要应用于以下场景：

• 删除数据清理：执行 Delete 操作后，清理被标记删除的数据以释放存储空间
• 过期数据清理：清理通过生命周期管理功能识别出的过期数据

数据重组可以优化存储空间利用率，提升数据库查询性能和响应速度，改善整体系统效率。

重组流程

数据重组以分区（Partition）为基本单位，系统采用单线程串行方式处理重组任务，确保操作的稳定性和数据一致性。

具体流程如下：

1. 任务触发：系统定期自动触发重组任务
2. 分区遍历：依次扫描各个分区，对每个分区执行重组操作
3. 数据清理：
   • 清理过期数据
   • 清理被标记删除的数据
4. 文件重建：生成优化后的新数据文件，替换原有文件
5. 标记清理：清理相关的删除标记记录，完成重组流程

重组操作与合并操作互斥，同一 entity segment 不会同时执行这两种操作。

重组配置

在 KaiwuDB 中，数据重组功能默认启用，用户可以通过 ts.auto_vacuum.enabled 实时参数选择是否启用或禁用该功能。有关详细信息，参见集群实时参数。