[发明专利]一种数据查询方法、装置、设备和存储介质

说明书

本申请实施例提出了一种数据查询方法、装置、电子设备和计算机存储介质，该方法包括：根据用户的历史查询数据，构建多个星型模型；基于多个星型模型中每个星型模型的维度表和事实表，确定需要计算基数的列的基数；基于目标基数，对数据立方体Cube的预计算结果进行剪枝；利用剪枝后的预计算结果，实现业务数据的查询；目标基数包括需要计算基数的列的基数。本申请实施例在减小基数计算次数和时间的同时，利用基数对Cube进行剪枝处理，可以提高查询效率。

技术领域

本申请涉及数据仓库技术领域，尤其涉及一种数据查询方法、装置、电子设备和计算机存储介质。

背景技术

在大数据多维分析场景中，数据规模往往在千亿甚至万亿级别，且维度数量过多、维度基数超大，存在维度爆炸的隐患。如果依然对所有维度组合的情况进行预计算，一定会导致预计算时间过长、结果数据量过大，这一方面增加了预计算和存储成本，另一方面也给大量预计算结果的扫描带来了挑战。

针对这个挑战，需要帮助用户更加合理的设计数据立方体Cube，即通过对用户查询历史进行解析，来优化Cube设计，通过设置聚合组并对维度进行分类，这样就能避免大量的维度组合，却又不影响用户的查询速度，而基数则是用于对维度分类的重要特征。

相关技术中，大多使用MapReduce结合抽样计算的方法来估计基数，然而这种方法计算速度较慢，影响用户的查询效率，在实际应用场景中会对用户使用体验造成极大的影响；因而，需要一种能够快速确定基数以提高数据查询效率的方法。

发明内容

本申请提供一种数据查询方法、装置、电子设备和计算机存储介质。

本申请的技术方案是这样实现的：

本申请实施例提供了一种数据查询方法，所述方法包括：

根据用户的历史查询数据，构建多个星型模型；所述历史查询数据表示在历史时间段内对数据仓库进行聚合查询得到的数据；

基于所述多个星型模型中每个星型模型的维度表和事实表，确定需要计算基数的列的基数；

基于目标基数，对Cube的预计算结果进行剪枝；利用剪枝后的预计算结果，实现业务数据的查询；所述目标基数包括所述需要计算基数的列的基数。

在一些实施例中，所述基于所述多个星型模型中每个星型模型的维度表和事实表，确定需要计算基数的列的基数，包括：

基于所述多个星型模型中每个星型模型的维度表和事实表，提取所述需要计算基数的列；

在确定所述需要计算基数的列为第一双列时，确定所述第一双列是否满足替换条件；

确定满足，对所述第一双列进行替换，得到第二双列；利用所述第二双列，确定所述第一双列的基数；确定不满足，计算所述第一双列的基数。

在一些实施例中，所述方法还包括：

在确定所述需要计算基数的列为单列，且位于事实表中时，限制所述事实表长度为设定长度后，计算所述单列的基数。

在一些实施例中，所述确定所述第一双列是否满足替换条件，包括：

通过判断所述第一双列中每列对应的表的类型以及所述第一双列中其中一列是否为维度表的主键，确定所述第一双列是否满足替换条件。

在一些实施例中，所述通过判断所述第一双列中每列对应的表的类型以及所述第一双列中其中一列是否为维度表的主键，确定所述第一双列是否满足替换条件，包括：

在确定所述第一双列位于同一维度表，且所述第一双列中其中一列为所述维度表的主键时，确定所述第一双列满足替换条件；

所述对所述第一双列进行替换，得到第二双列，包括：