[发明专利]用于构建物化视图的方法和装置

说明书

本发明实施例提供一种用于构建物化视图的方法和装置，属于数据查询领域。该方法包括：获取待预估查询时长的待预估维度列和度量列组合对应的基本特征；以及针对一所述待预估维度列和度量列组合，根据所获取的基本特征和预设查询时长预估模型，预估该待预估维度列和度量列组合的查询时长；以及根据预设查询时长阈值和所预估的查询时长，预测该待预估维度列和度量列组合是否存在查询延迟风险；以及在该待预估维度列和度量列组合存在查询延迟风险的情况下，将该待预估维度列和度量列组合告知给构建所述物化视图的决策者。藉此，实现了缩短处理链路周期、改善用户体验及减轻运维负担。

技术领域

本发明涉及数据查询领域，具体地涉及一种用于构建物化视图的方法和装置。

背景技术

近年来随着人工智能和大数据的迅速发展，大批量多样化的数据不断增加，怎么快速提供数据查询服务一直是数据查询从业者不断解决的问题。物化视图功能是一种常用的提高查询速度的方法，如何针对用户创建的数据源合理构建物化视图功能，提高用户的查询速度，是数据查询从业者研究的方向。传统数据查询方式是通过分析用户慢查询语句，定位哪些维度列和度量列需要进行物化操作，重复测试和优化，输出最终的优化效果。其中，传统处理架构如图1所示。这种模式主要存在两个问题：1)典型的发现问题才解决问题，而做不到把有查询延迟风险的数据源提前暴露出来；2)整个处理链路周期较长，用户体验不佳，一线开发人员的运维负担也相对较大。

发明内容

本发明实施例的目的是提供一种用于构建物化视图的方法和装置，其可解决或至少部分解决上述问题。

为了实现上述目的，本发明实施例的一个方面提供一种用于构建物化视图的方法，该方法包括：获取待预估查询时长的待预估维度列和度量列组合对应的基本特征，其中，所述基本特征包括对应的所述待预估维度列和度量列组合中包括的维度列和度量列及所述待预估维度列和度量列组合中包括的度量列对应的度量规则和列基数；以及针对一所述待预估维度列和度量列组合，根据所获取的基本特征和预设查询时长预估模型，预估该待预估维度列和度量列组合的查询时长；以及根据预设查询时长阈值和所预估的查询时长，预测该待预估维度列和度量列组合是否存在查询延迟风险；以及在该待预估维度列和度量列组合存在查询延迟风险的情况下，将该待预估维度列和度量列组合告知给构建所述物化视图的决策者。

可选地，针对一所述待预估维度列和度量列组合，在将该待预估维度列和度量列组合告知给构建所述物化视图的决策者之前，该方法还包括：判断该待预估维度列和度量列组合是否为干扰组合；以及在该待预估维度列和度量列组合为所述干扰组合的情况下，不将该待预估维度列和度量列组合告知给所述决策者，其中，所述干扰组合为实际进行查询时不存在查询延迟的维度列和度量列组合。

可选地，针对一所述待预估维度列和度量列组合，判断该待预估维度列和度量列组合是否为干扰组合包括：将该待预估维度列和度量列组合转化为sql语句；根据所转化的sql语句，使用calcite框架生成sql执行计划；在olap引擎中执行所生成的sql执行计划，利用sql profile工具确定所转化的sql语句的sql复杂度；以及根据预设干扰组合判断条件和所确定的sql复杂度，判断该待预估维度列和度量列组合是否为所述干扰组合。

可选地，该方法还包括：获取查询日志，其中，所述查询日志包括实际查询的维度列和度量列组合及对应的实际查询时长；根据所述预设查询时长阈值和所述实际查询时长，筛选出所述查询日志中包括的存在查询延迟的维度列和度量列组合；以及将所筛选出的维度列和度量列组合告知所述决策者。