支撑数据汇入高并发的问题,有效提升大批量数据高速写入效率
通过多租户划分,实现多租户管理和数据资源隔离,保证数据安全性
项目背景
某市大数据局负责整合市级各部门、单位分散的信息资源,建立全市统一的数据、信息和网络三大平台,实现全市综合数据信息共享,为各级领导科学决策提供全面、准确、及时、可靠的信息,为城市信息化提供技术标准和业务指导,为部门及县市区的信息化建设提供技术支撑。因此,搭建政府大数据管理平台体系,对于实现数据交换、开放公共信息资源、推进数据共享和业务协同具有十分重要的意义。
客户面临的挑战
· 海量数据存储难:国外开源产品稳定性欠佳,传统数据库无法支撑单表过亿的政务数据汇聚压力
· 数据库间相互独立无法共享:各委办局数据库独立,无法实现数据共享,数据汇聚与计算得不到有效支持
· 数据入库性能要求高:海量的政务数据汇聚,对数据库的入库性能有较高要求
· 缺乏多租户资源隔离手段:无法满足各区、县委办局的数据资源隔离及账户隔离,数据安全得不到充分保障
· 难以支撑 HTAP 场景需求:事务处理读写性能无法满足数据日益增长的现状,同时数据处理与分析的需求逐渐增加,导致现有数据库难以支撑业务分析场景,需要一套数据库同时解决事务处理和分析能力
解决方案
· KaiwuDB 通过提供云原生的分布式数据库方案,将原有国外数据库 Greeplum 进行全面替代,各个区、县委办局数据进行统一汇聚、统一存储;采取行列混存方案,全面支持大数据局的 HTAP 事务与分析场景
客户价值
· KaiwuDB 分布式集群部署在云平台上,划分虚拟资源部署各个节点,基于一套数据库集群进行数据汇聚共享,为各委办局提供业务服务,支持多租户管理实现资源隔离
· 以—套 KaiwuDB 集群建立原始库、历史库和分析库,构建一条数据汇聚通道、一套数据存储资源,对外提供统一的数据共享来源,实现构建数据一体化管理
· 性能优异,支持行列混存,以满足 HTAP 的事务与分析场景,最大可支持 2 万行/秒的入库速率
· 实现原有 GreenPlum 数据库迁移到 KaiwuDB 集群,上线稳定运行超 20 个月,存储数据覆盖人社、交通、住建、教育等各大核心机构部门,集群累计包含 1600 多张数据表,日均处理数据量达到 2000 多万条