[发明专利]并行化查询的多核调度

说明书

技术领域

本说明书涉及并行化查询执行的多核查询调度。

背景技术

大型数据库和其他软件应用的大小在该应用的使用上可能是一个限制因素，特别是当应用/数据的查询和其他操作本身很长并且很复杂时。例如，用户可能想要发布一个复杂的查询以便从具有成千上万个记录的相关数据库中获得结果，在这种情况下，提供相应查询结果的响应时间可能长得难以接受。此外，该情况可能促使可用计算资源的无效使用，例如，通过允许一个用户相对其他当前用户过度地消耗该资源。

作为减轻该问题的方法，多核(例如，多个CPU)计算系统的使用方便了并行查询执行的发展。例如，通过使用两个可用核，可以相互并行地计算多个查询(和/或它的多个部分)。从而，例如，两个等效的查询可以在小于执行其中之一应当花费的时间的双倍时间内执行。

然而，难以采用有效的或最佳的方式实现这样的并行查询的实施。例如，存在与多个核分摊/分配多个查询相关联的成本，以及与重新结合或合并查询结果相关联的成本。例如，根据讨论中的查询的性质以及并行化的程度，这些成本可能限制并且可能最终压制或掩没并行化的好处。

而且，一个或多个正在运行的查询的运行时环境的复杂性和不可预见性可能加剧多核并行查询处理的难度。例如，即使在讨论中的查询(或多个查询)的运行时之前将并列查询的可接受计划公式化，也可能发生以下情况：可能发生降低所计划的查询调度的功效或愿望的运行时事件(例如，当处理核具有远大于或远小于预期的运行时可用性时)。

因此，并行化查询(或它的部分)的多核处理的有效调度是一个困难以及重大挑战。在这点上的失败可能非常限制可用计算资源的效率以及可用人力资源的生产力。

发明内容

根据一个一般方面，包含记录在计算机可读介质上的指令的系统可以包括：操作符管理器，其被配置成用于确定可用核的数量并且在查询的多个操作符之间分配核，存在通过含有操作符的运行中集合的操作符的多个查询路径。操作符管理器可以包括：状态监视器，配置成用于确定可用核的数量并且确定操作符的运行中集合；关键路径选择器，配置成用于从查询路径以及操作符的运行中集合中确定查询的关键路径；以及工作量管理器，配置成给运行中集合以及关键路径的运行中的操作符分配可用核的第一个核，并且此后从关键路径选择器接收新关键路径并且给该新关键路径的运行中的操作符分配可用核的第二个核。

实施方式可以具有一个或多个以下特征。例如，关键路径选择器可以配置成确定关键路径，包括对每个查询路径的操作符的操作符执行时间总计以及之后选择具有最大的查询路径总计执行时间作为关键路径。关键路径选择器可以配置成通过在为运行中集合以及关键路径的运行中的操作符分配第一个核之后，为每个查询路径重新计算总计操作符执行时间并且选择具有最大的查询路径总计执行时间的新关键路径来确定新关键路径。关键路径选择器可以配置成确定新关键路径，包括在给运行中集合以及关键路径的运行中的操作符分配第一个核之后，为每个查询路径计算总计操作符执行时间；确定潜在的关键路径用于给运行中集合以及潜在的关键路径的运行中的操作符分配第二个核，该潜在的关键路径具有最大的查询路径总计执行时间；根据工作量管理器确定给运行中集合以及潜在的关键路径的运行中的操作符分配第二个核将不会提供它的执行时间上的净利益；并且确定具有第二大的查询路径总计执行时间的新关键路径。

工作量管理器可以配置成分配第一个核，包括确定运行中集合以及关键路径的运行中的操作符的减函数，第一个核的分配将导致它的执行时间的净减。操作符管理器可以配置成继续给查询路径的运行中的操作符分配可用的核，直到工作量管理器根据运行中的操作符的减函数确定给任何运行中的操作符分配任何可用核都不会导致它的执行时间的减少为止。状态监视器可以配置成检测状态的变化，包括新的可用或不可用核、查询的运行中的操作符的开始或完成，并且可以配置成根据状态的变化停止或开始操作符管理器的操作。

系统可以包括配置成确定包括所述查询的多个查询的查询管理器，其中该查询管理器包括：查询选择器，配置成确定可用核的总数量以及配置成给操作符管理器分配可用核的总数量的可用核用于通过所述核并行处理查询；以及查询监视器，配置成监视多个查询以便确定它们的状态。