[发明专利]基于浓密树和自顶向下的大数据实时查询优化方法

权利要求书

1.一种基于浓密树和自顶向下的大数据实时查询优化方法，其特征在于，包括：

(1)对查询语句进行解析，根据解析后的查询语句构建初始查询超图；

(2)基于查询计划树的代价最低原则对所述的初始查询超图按照级别自顶向下进行逐级分解，直至得到所述初始查询超图的最优查询计划树，即完成大数据实时查询优化。

2.如权利要求1中所述的基于浓密树和自顶向下的大数据实时查询优化方法，其特征在于，所述步骤(1)中还包括如下步骤：

(1-1)初始化一个空的全局最优树映射；

(1-2)针对初始查询超图中每个点构建相应的查询超图和查询计划树，并令各查询计划树的代价为0，并将所述初始查询超图中每个点的查询超图和对应的查询计划树添加至所述的全局最优树映射。

3.如权利要求2中所述的基于浓密树和自顶向下的大数据实时查询优化方法，其特征在于，所述步骤(2)中进行逐级分解时首先进行条件判断，判断当前分解目标是否在全局最优树映射中：

若在全局最优树映射中，则根据代价阈值判断全局最优树映射中当前分解目标对应的查询计划树是否最优：

若为最优，则以全局最优树映射中当前分解目标对应的查询计划树作为最优查询计划树，

否则，构建当前分解目标的最优查询计划树，并将全局最优树映射中当前分解目标对应的查询计划树更新为该最优查询计划树；

否则，构建当前目标的最优查询计划树，并将当前分解目标和最优查询计划树存入全局最优树映射中；

通过如下步骤构建当前分解目标的最优查询计划树：

(S1)对当前分解目标进行分解，得到下一级的若干子图对，依次对当前分解目标的每一个子图对进行分解处理；每个子图对包括两个查询超图，对每个子图对进行分解处理时依次对其中的每一个查询超图进行分解处理；

(S2)对每个查询超图进行分解处理时，以当前查询超图作为当前分解目标，以该子图对中另一个查询超图用作参考目标以更新代价阈值；

针对当前分解目标和更新后的代价阈值返回重新执行条件判断，直至得到当前分解目标的最优查询计划树；

按照级别由下至上，按次序依次将当前级别中各个子图对进行合并得到相应的合并结果，从所有合并结果中选择代价最小的作为上一级分解目标的最优查询计划树，并将上级分解目标和对应的查询计划树存入全局最优树映射；

所述代价阈值的初始值为正无穷。

4.如权利要求3中所述的基于浓密树和自顶向下的大数据实时查询优化方法，其特征在于，对于同一个子图对进行分解处理时，任意选择一个作为左划分，则以另一个作为右划分，首先以右划分作为参考目标，左划分作为分解目标，得到左划分的最优查询计划树后；以左划分为参考目标，右划分作为分解目标，得到右划分的最优查询计划树；

(a1)以右划分为参考目标时，所述步骤(2)中以参考目标更新代价阈值的方法如下：

若参考目标在于全局最优树映射中，以计算得到的代价作为更新后的代价阈值；

否则，以参考目标的代价下界作为更新后的代价阈值；

(a2)以左划分为参考目标时，所述步骤(2)中以参考目标更新代价阈值的方法如下：

以当前代价阈值减去左划分的最优查询计划树的代价的差值作为更新后的代价阈值。

5.如权利要求3中所述的基于浓密树和自顶向下的大数据实时查询优化方法，其特征在于，所述步骤(S2)中对子图对进行合并时分别将子图对中的两个查询超图对应的查询计划树进行正向合并和反向合并，以正向合并和反向合并得到的查询计划树中代价较小的查询计划树作为该子图对的合并结果。

6.如权利要求1～5中任意一项所述的基于浓密树和自顶向下的大数据实时查询优化方法，其特征在于，所述查询计划树的代价为该查询计划树的磁盘读取代价、网络传输代价和表大小的综合代价；

对于任意一课查询计划树T的代价根据以下公式计算：

其中，α_L+α_R+β+γ+δ＝1；

L和R分别为查询计划树的左子树和右子树；

C_L左子树的代价，C_R为右子树的代价；

IO_L为磁盘读取左子树对应的数据的代价；

TR为网络传输代价，S为数据的大小，S_LR为将左子树和右子树哈希连接后的数据大小。