[发明专利]基于浓密树和自顶向下的大数据实时查询优化方法

说明书

技术领域

本发明涉及大数据查询技术领域，具体涉及一种基于浓密树和自顶向下的大数据实时查询优化方法。

背景技术

随着大数据时代的到来，对海量数据的快速查询处理成为互联网、电信、金融等类型企业的迫切需求。为了满足这类需求，大数据实时查询系统应运而生，如Google Dremel、Berkeley Shark和Cloudera Impala等。大数据实时查询一般采用分布式体系架构，通过弱化对事务等功能的支持，可以满足用户在海量数据环境下的实时查询需求。

查询优化主要由搜索空间、搜索策略和代价模型三部分组成。

搜索空间可以使用查询树进行表示，主要分为左深树(右深树)和浓密树。20世纪90年代之前，研究人员主要关注基于左深树的查询优化，因为当时的数据库产品大多是单机的，左深树的查询计划只能串行执行，且搜索空间小，优化时间短。而随着科学技术的发展，在分布式系统出现后研究的重点转向了基于浓密树的查询优化，因为浓密树的2棵子树可以在不同节点并行执行，提高了查询的效率。由于n个单一关系的左深树有n！种可能，而浓密树有2(n-1)n-1(n-1)!]]>种可能，在连接关系较多时，浓密树形式查询计划的搜索空间较大，优化时间较长。

搜索策略主要分2类：一类是自顶向下的，主要思想是由整体到局部进行优化。基于自顶向下的优化方法，其工作原理是通过将连接图不断进行划分，构建连通子图，由于在划分的过程中结合了分支定界和剪枝等策略，算法的执行效率有了很大的提升。但是其只能处理二元谓词，只支持内连接，在实际应用中有很大局限。另一类搜索策略是自底向上的，主要思想是由局部到整体进行优化。此类算法可以处理复杂的查询谓词，但由于搜索空间较大，又无法有效使用剪枝策略，存在当关系数较多时，优化时间较长的问题。

查询优化的代价模型通常会根据统计信息、操作符、原始数据等特征来计算执行的代价，使用合适的代价模型可以得到更好的查询优化效果。一般的代价模型需要考虑磁盘I/O、网络传输和CPU运算的代价，但在实现时，会根据情况选择主要的影响因素。常用的代价模型如对Hive的优化模型并不适用于大数据实时查询系统，其主要考虑磁盘I/O的代价，在分布式环境多表连接查询执行时，中间结果的传输代价对查询效率的影响更大，因此代价模型具有一定的系统局限性，很难保证可以获得最优的查询计划，从而影响查询效率。

发明内容

多表连接顺序优化是数据库管理系统性能优化的重要领域，本发明针对目前基于浓密树或基于自顶向下的查询优化算法优化时间较长、传统的代价模型具有一定的系统局限性等问题，提出了基于浓密树和自顶向下的大数据实时查询优化方法。

一种基于浓密树和自顶向下的大数据实时查询优化方法，包括：

(1)对查询语句进行解析，根据解析后的查询语句构建初始查询超图；

(2)基于查询计划树的代价最低原则对所述的初始查询超图按照级别自顶向下进行逐级分解，直至得到所述初始查询超图的最优查询计划树，即完成大数据实时查询优化。

在进行数据查询时，按照初始查询超图的最优查询计划树进行查询即可。

所述步骤(1)中还包括如下步骤：

(1-1)初始化一个空的全局最优树映射；

(1-2)针对初始查询超图中每个点构建相应的查询超图和查询计划树，并令各查询计划树的代价为0，并将所述初始查询超图中每个点的查询超图和对应的查询计划树添加至所述的全局最优树映射。

所述步骤(2)中进行逐级分解时首先进行条件判断，判断当前分解目标是否在全局最优树映射中：

若在全局最优树映射中，则根据代价阈值判断全局最优树映射中当前分解目标对应的查询计划树是否最优：

若为最优，则以全局最优树映射中当前分解目标对应的查询计划树作为最优查询计划树，