PolarDB PG 利用 HTAP 加速创建物化视图

[mrdrivingduck]

背景

物化视图

物化视图是将查询结果预先计算并存储的一张特殊的表。

"物化"(Materialized) 这个词是相对于普通视图而言。普通视图较普通的表提供了易用性和灵活性，但由于只保存了对数据进行构建和计算的定义而不是数据本身，因此无法加快数据访问的速度。物化视图像是视图数据的缓存，不是在查询视图时才进行运行时的数据构建和计算，而是在创建物化视图时立刻计算、存储和优化数据访问，并通过刷新操作更新物化视图中的数据来保证数据的实时性。物化视图被广泛用于数据 预计算 和数据 缓存。

HTAP

PolarDB PG 的 HTAP 框架能够在优化器中对符合条件的 SQL 语句产生一个 大规模并行处理（MPP） 的物理执行计划，多个 PolarDB PG 实例的执行器能够并行执行这个计划，并将中间结果通过网络汇总进行汇总/广播/重分布。这样可以充分利用 I/O 带宽以及多台机器上的 CPU 和内存资源。实现数据不出库就可以进行一些耗时较长的 OLAP 负载。

目标

由于创建或刷新物化视图时需要查询目前已有的表数据进行构建和计算，当数据扫描和数据计算的量比较大时，创建物化视图是一个非常耗时的过程。PG 已经支持在单台机器上利用多个工作进程并行进行构建和计算。但利用 PolarDB PG 已有的 HTAP 能力能够利用多台机器的计算资源加速数据进行构建和计算的过程，使得创建或刷新物化视图的时间减少。

1. 用一个开关使用户可以随时打开或关闭这个功能
2. 覆盖全面的正确性测试，保证利用 HTAP 产生的物化视图与原有创建物化视图功能产生的物化视图在内容完全一致，在数据库的行为上也完全一致
3. 对较大的物化视图构建或刷新有明显的性能提升，完成一个性能测试报告。

提示

• 了解一条 SQL 在 PolarDB-PG 内核的生命周期是什么样的，从输入到得到结果中间经过了哪几个模块，入口函数分别是什么，它们的作用分别是什么？
• 了解 PolarDB-PG 输出的并行执行计划是什么样的，其中最关键的物理算子是哪一个？
• 了解 PolarDB-PG 执行器是如何执行一个物理计划的，特别是如何执行一个并行执行的计划？
• PolarDB-PG 内核中创建物化视图走了哪些代码逻辑，大概需要做哪些事情？

参考资料

• PolarDB for PostgreSQL 文档：PolarDB 本地部署
• PolarDB for PostgreSQL 文档：利用 PolarDB HTAP 加速 TPC-H
• PostgreSQL 官方文档：CREATE MATERIALIZED VIEW
• 电子书：PostgreSQL
• 实体书：PostgreSQL 指南：内幕探索，冯若航、刘阳明等，电子工业出版社
• 实体书：PostgreSQL 数据库内核分析，彭智勇、彭煜玮，机械工业出版社