[发明专利]分布式数据库中的并行任务调度系统

说明书

本申请公开了一种分布式数据库中的并行任务调度系统，包括：主节点以及与主节点通信的至少一个从节点，并且从节点设置有用于执行调度任务的代理调度器，其中主节点配置用于执行以下操作：接收查询语句，并根据查询语句生成查询任务；将查询任务发送至至少一个从节点；以及从节点配置用于执行以下操作：接收查询任务；通过代理调度器将查询任务分配至由从节点管理的至少一个查询执行器进行处理。

技术领域

本申请涉及分布式数据库技术领域，特别是涉及一种分布式数据库中的并行任务调度系统。

背景技术

并行任务调度器是分布式数据库中最核心的与分布式紧密相关的模块之一，负责将分片的查询计划调度到各个从节点上，并且负责协调查询计划执行的全过程，是整个并行系统的粘合剂。如果执行成功，调度器将负责汇总调度信息。如果执行失败，调度器将负责取消其他正在运行的任务，以及把第一个出错的任务相关的报错信息返回终端用户。现有技术中，如开源的GPDB和Apache顶级项目HAWQ都是采用master节点上的QD(querydispatcher查询调度器)和segment节点上的每一个QE(queryexecutor查询执行器)直接建立libpq连接，发送接收消息。

然而，现有技术会在大规模集群下，造成master和segment节点之间存在大量libpq连接，比如1000个节点集群，每个节点启动了100个QE，这样就是100*1000＝100000个libpq连接。同时任务分发的时候会给每个QE分发大量的重复的信息，包括序列化的查询计划，元信息等。这些都会导致随着集群规模的扩大，任务派遣的性能会越来越慢，甚至造成master节点最早成为整个集群的瓶颈。

针对上述的现有技术中存在的分布式集群中的主节点的查询调度器需要和和每个从节点的每个查询执行器建立连接关系，因此随着集群规模的扩大会影响任务派遣速度，甚至造成集群到达瓶颈的技术问题，目前尚未提出有效的解决方案。

发明内容

本公开的实施例提供了一种分布式数据库中的并行任务调度系统，以至少解决现有技术中存在的分布式集群中的主节点的查询调度器需要和和每个从节点的每个查询执行器建立连接关系，因此随着集群规模的扩大会影响任务派遣速度，甚至造成集群到达瓶颈的技术问题。

根据本公开实施例的一个方面，提供了一种分布式数据库中的并行任务调度系统，包括：主节点以及与主节点通信的至少一个从节点，并且从节点设置有用于执行调度任务的代理调度器，其中主节点配置用于执行以下操作：接收查询语句，并根据查询语句生成查询任务；将查询任务发送至至少一个从节点；以及从节点配置用于执行以下操作：接收查询任务；通过代理调度器将查询任务分配至由从节点管理的至少一个查询执行器进行处理。

在本公开实施例中，在分布式数据库中的每个从节点设置代理调度器，因此主节点的调度器在每次发送任务的时候只需要向从节点发送任务，然后从节点通过代理调度器将任务下发至查询执行器，因此主节点不需要向每个查询执行器发送。从而与现有技术相比，本方案可以显著减少主节点与查询执行器之间的连接数量。达到了节省计算资源的技术效果。此外，通过向从节点发送查询任务的过程中，对于共用的数据部分只发送一份，因此还可以进一步地节省了计算资源，提高数据的发送效率。进而解决了现有技术中存在的分布式集群中的主节点的查询调度器需要和和每个从节点的每个查询执行器建立连接关系，因此随着集群规模的扩大会影响任务派遣速度，甚至造成集群到达瓶颈的技术问题。

附图说明

此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：

图1是用于实现根据本公开实施例1所述的方法的计算设备的硬件结构框图；

图2是根据本公开实施例1所述的分布式数据库中的并行任务调度系统的示意图；

图3是根据本公开实施例1所述的主节点执行操作的流程示意图；以及