KaiwuDBkaiwudb logo

新闻速递

国际顶会认可!KaiwuDB 论文入选 ICDE 2024

2024-05-22

近日,KaiwuDB 与中国人民大学合作的论文 FOSS: A Self-Learned Doctor for Query Optimizer 被数据库领域顶会The 40th IEEE International Conference on Data Engineering (ICDE 2024) 录用啦。论文中提出了具备自学习、自诊断能力的查询优化器 FOSS,推动了基于 AI 算法的学习型查询优化技术创新发展。KaiwuDB 高级研发工程师、人大信息学院博士孙路明为共同作者。


图片



近年来,数据库研究人员提出了多个基于 AI 算法的学习型查询优化器,比如:

  • 自下而上的方式从头学习构建查询计划;

  • 通过提示(Hint)引导或者限制传统优化器的执行计划生成过程;

  • ... ...


虽然上述方法取得了一定成功,但它们却面临训练效率低下、计划搜索空间有限等方面的挑战。


而本篇论文提出的 FOSS —— 基于深度强化学习的查询优化新框架,与引导传统优化器行为的黑盒方法不同,FOSS 是一个白盒方法,通过优化传统查询优化器生成的计划,更好地利用专家优化知识其行为类似一个诊疗查询计划的医生,它从传统优化器生成的原始计划开始优化,发现其中的性能问题,通过系列优化动作逐步改进计划中的次优节点。


此外, FOSS 还采用了不对称的收益模型来评估两个计划之间的性能差异。为了提高 FOSS 的训练效率,我们将 FOSS 与传统优化器集成以形成一个模拟环境。利用该模拟环境,FOSS 可以自动快速生成大量高质量的模拟经验,然后从这些经验中学习以提高其优化能力。


论文在 Join Order Benchmark, TPC-DS 和 Stack Overflow 等多组数据集和负载上评估了 FOSS 的性能。实验结果表明:FOSS 在模型收敛速度、查询优化效果上优于现有学习型查询优化器,与 PostgreSQL 默认查询优化器相比,更是获得了最高 8.33 倍的加速效果

通过引入该技术,数据库查询性能、响应时间及用户体验或将有效提升,适用于 OLAP、HTAP 等数据密集型场景的查询需求。


图片


未来,KaiwuDB 也将始终坚持以先进技术打磨产品,加速学术研究与产业应用融合,为中国数据库技术创新发展、数据处理效能提升等方面贡献新思路,为政企客户伙伴提供高性能、高可用、易运维的数据服务,助力产业数字化升级与应用创新。



免费体验 KaiwuDB 全新功能

立即体验

关于我们
联系我们

KaiwuDB B站

KaiwuDB
B站

KaiwuDB 微信公众号

KaiwuDB
微信公众号

© 上海沄熹科技有限公司 Shanghai Yunxi Technology Co., Ltd.    沪ICP备2023002175号-1
400-624-5688-7
1V1 方案咨询
marketing@kaiwudb.org.cn