KaiwuDB 多模数据库-时序性能优化
KaiwuDB 社区官方号
2024-08-14
线上沙龙 - 技术流第 37 期回放来啦
直播重点回顾 01 时序基础概念 Measurement：一类设备的集合； Data source：一个具体的设备； Tags：一个设备的描述标签； Timestamp：本条时序数据的采集时间。 大数据量的处理； 高压缩比； 冗余重复数据的一份存储； 时间序列分区处理； 一般没有事务相关处理。 02 TSBS 测试标准说明 时序数据的生成和写入； 时序场景的典型查询。 DevOps – 服务器 CPU 监控场景有序的时间序列数据； IoT – 物联网卡车车队场景存在无序和缺失的时间序列数据。 数据间隔均为 10 秒； 场景五数据量最大 1.8 亿条记录，场景四数据量最小 1800 万条记录； 场景四和场景五设备数量较多，仅覆盖 3 分钟时间跨度。 03 KaiwuDB 多模数据库时序引擎 应用层； SQL Engine； 分布式层； Storage Engine。
大表，所有设备写入到一张表；
分表，一个设备一张表；
分区，按照时间划分数据区域；
合表，部分设备一组，静态属性合并存储，同时时间分区
执行器下放；
采用 mmap 技术，减少数据拷贝；
分区并行；
数据裁剪；
定制执行计划；
Timebucket 等特殊时序算子；
多级动态并行。
时序表是一种特殊的复合表；
模板表对应 tag 表；
实例表只是对应 tag 表中的一条索引，而非完整表；
数据写入时可以动态创建 tag 项并写入数据；
tag 表支持基本的统计信息，例如包含 TSBS；
查询支持通用数据读取；
特殊查询能够下推，例如多 tag 查询下推，单个 tag 特定聚合数据；
数据块按照时间分区，增加块的统计信息。
关注官方微信
