[发明专利]用于使用集群缓存进行数据库查询的并行优化的系统和方法

说明书

本发明公开了用于使用集群缓存进行数据库查询的并行优化的系统和方法。在一种实施方式中，本发明通过使用动态聚类避免并行聚合的合并阶段来提高通过聚合分组的性能，并且进一步通过缓存聚类信息并将其存储在工作线程的本地存储器中来优化所述系统。所述集群信息的缓存基于用户配置以避免系统存储器的过度使用。

技术领域

本文中所描述的主题总体涉及数据库管理系统，更具体地，涉及一种用于提高查询执行的性能的系统和方法，其中聚类提高性能。

背景技术

数据库系统一般用于应答从存储的数据库请求信息的查询。查询可以定义为针对数据库中的数据和所表达的数据关系的逻辑表达式，并得到对数据库中的子集的识别结果。在最近的进步中，数据库系统使得单个查询执行能够并行运行。

随着具有平行计算资源的强大硬件(如处理器和处理器核心)的进步，计算从单线程转移到使得单一查询执行能够并行运行的多线程。已设计许多算法，包括并行排序算法，如双调排序、并行基数排序，高级并行算法，如用于图形处理的werbuch-shiloach算法，等以利用平行的多个核心，从而提高系统性能。

并行计算的进步之一是通过使用非对称存储器引入的。非对称存储器是以以下方式构建的计算机存储器：计算机存储器被分成存储体，每个存储体与处理器紧密关联，并且访问存储器的成本取决于所访问的存储体对于处理器而言是本地的还是远程的。非对称存储器实现的示例是大多数芯片制造商采用的NUMA(非一致性内存访问)架构。

然而，随着系统中CPU数量的增加，越来越多的工作正被并行执行。这导致新的高效的内查询算法的发明，例如，并行合并排序算法。但大多数这些算法都有合并阶段的瓶颈。

在分析查询处理中，操作---连结组聚合、SORT、JOIN，但不限于这些 ---被认为是最频繁使用并且代价最高的操作。示例性的现有技术专利文献之一US5850547通过在计算系统中执行聚合函数的并行处理提供了这样的解决方案，如图1中所示。然而，在组聚合的情况下，可以通过将工作负载分布于不同线程之中使得能够避免合并阶段来避免第二合并阶段(根据文献‘547中提供的解决方案)。但是这要求数据的划分。并且，当待划分的记录的数量太大时，数据的划分变得代价高昂。

在一些现有技术中，执行加载时间聚类。但负载时间聚类将限制划分使其局限于仅单一列，因此会严重限制从划分受益的查询的数量。

因此，需要这样一种方法：将采用用户的工作环境并使用最新的技术来提供将减少组聚合成本从而提高整体系统性能的解决方案。

为了实现上述需要并解决现有技术中的上述问题，提供了各种解决方案，其中一些包括但不限于：

·现有技术文献US7779008中提供的一种解决方案，该解决方案提供了用于对驻留在诸如关系表之类容器中的数据执行并行聚合操作的技术。将初始数据划分成多片(或数据可能已经划分好)示出于图2中。

·另一种解决方案是通过引入B-MPSM分份JOIN算法提供的，其中分配用于在每个节点上执行聚合的一个线程/进程，然后在最后汇总每个节点的结果，然后投射得出的结果，如图3中所示。

然而，现有技术中的上述解决方案和其它现有解决方案具有如下所述的至少两个主要问题，包括但不限于：

·对于优化分组后聚合，未执行快速聚类；以及

·对于已由多篇论文推荐的连结算法聚类，聚类在每当执行查询时即时进行。

因此，基于以上问题，可以清楚地理解，现有的/传统的查询执行过程中的主要挑战是每次都必须执行聚类的情况，这是次优的。因此，考虑到其中要么执行两次相同的查询要么执行需要相同划分的两个不同的查询的情况，本领域技术人员可以理解，两种查询都将需要执行聚类。

发明内容