海量数据高效低成本接入
数据查询可实现 2000 万数据 150ms 反馈
项目背景
为快速响应国家“碳达峰”、“碳中和”政策,建立降本增效、可持续发展的生态产业结构,山东省某工厂从能源管理的角度出发,探索数字化转型实践,在厂区能源管控及治理过程中,对数据库能力提升提出了崭新诉求。
需求与挑战
· 海量数据存储难:厂区存在多种能源监测设备,涵盖水、电、气、热、暖等多个大类,同时包含气象参数;数据存储需求在 10 年以上,统计汇总难度大、成本高
· 数据查询响应缓慢:涉及产线能耗实时查询、聚合查询等多场景下的查询性能需达到毫秒级,传统数据库难以满足日常需求
· 数据分析结果单一:能源管控涉及电力、气体、用水等多个维度,单一数据分析结果展示(如:趋势图等)难以支撑常规生产能源分配决策
· 图表展示形式固化:日常采集数据仅能导出 Excel,用时长且较难进行二次利用开发,导致相关业务效率严重受限
解决方案
· 海量数据高速写入:以 KaiwuDB 为数据底座,建立数字化能源管理平台,支持多类数据并发写入,实现厂区近 3万测点全部接入,单节点入库速率可达 50 万笔/秒,日增数据量可达 1100 万条
· 数据高压缩及分级管理:KaiwuDB 压缩算法提供了 5-30 倍的数据压缩,同时支持冷热数据分级的生命周期管理,大量节约存储成本
· 支持聚合查询及自定义函数:KaiwuDB 支持多场景下的聚合查询及自定义函数,1000 万数据查询毫秒级响应; 数据多级下钻分析,基于 数据服务平台 强大的分析功能,能源管理平台实现超过 20 维度×20 层级的下钻分析,提供近 40 种基础图表的展示形式;同时支持电能、供暖、压缩气体等多种类模型联合分析,多维度助力决策层管理
· 多样的数据分析途径:数据服务平台支持报表导出、API 创建、URL 共享图表看板等,借助多样形式为上层应用提供详细清晰的数据分析结果
建设价值
· 涵盖水、电、气、热、暖及生产设备状态等多数据项类别,近 3 万测点可达 1100 万日增数据量,实现海量数据接入
· 数据压缩性能总体维持在 5-30倍,冷热数据分级存储,实现数据全生命周期管理,数据可存储 10 年以上,有效节约存储成本
· 高速聚合分析及降采样等复杂查询,最高实现了 2000 万数据 150ms 反馈
· 除原有能源数据和生产数据接入外,关系型业务数据平滑接入数据服务平台平台,同时支持水、电、气、热、暖等多源异构数据融合分析
· 多形态图表分析结果展示,可实现超过 80 万笔/秒的计算效率,快速精准计算能源成本,辅助上级决策