[发明专利]一种具有延迟约束功能的气泡执行方法

说明书

一种具有延迟约束功能的气泡执行方法，本发明涉及气泡执行方法。本发明的目的是为了解决现有查询处理过程中的计算效率和可控度低的问题。过程为：引入查询优化器，将所有的查询语句分成若干查询计划，查询计划由有向无环图组成；将有向无环图划分为子图；若气泡中所有任务的输入都已经准备好，进入气泡队列，否则等待气泡准备好；若气泡中全部任务执行成功，将气泡从队列中移除；若气泡中某一任务执行失败，故障传播到同一气泡中的其他任务，将气泡移除队列，当失败的任务准备好，将气泡重新推送至气泡队列；若多个气泡的执行总代价没有超过数据库系统要求的执行事务的代价上限，则气泡之间并行执行；否则串行执行。本发明用于气泡执行领域。

技术领域

本发明涉及气泡执行方法。

背景技术

随着数据量规模逐步增大和数据操作复杂性的逐步提高，亟需一种显著降低查询执行延迟性和容错性的数据系统，目前存在的系统大多采用优化文件格式和改进查询算法的方法来降低容错率，但当数据量增长到成百上千个数据节点时，并行数据库方法变得极度昂贵而不再适用。交互式查询引擎解决了实时分析的需求，但使用的群执行方法在计算调用数千个操作符的复杂查询时，计算所占用资源超过执行所需，此外为了保证容错性，需要在相应执行操作器上保持中间数据而增加了延迟。

文章“Bubble Exection：Resource-aware Reliable Analytics at CloudScale”提出了一种新的用于云规模交互式工作负载下的查询处理框架，即气泡执行方法。该框架以JetScope的可伸缩架构为基础，将计算计划分离为很多小任务，执行任务排序、冗余任务消除和任务预测提取等工作。通过引入基于成本的查询优化器，采用启发式算法产生具有最佳分布式执行计划的气泡。在框架的组织阶段引入作业管理器，在避免资源浪费和死锁的前提下平滑调度气泡，在进行任务调度管理时，将任务按照优先级排序后按序分配。将任务分派给选定的计算节点，从节点收集并采用不同的策略来处理集群状态。气泡内部的任务连接采用管道通道形式，数据在内存与通道间流通，降低延迟量；气泡间的任务利用可恢复通道连接，在发生故障时使用者可以在任何节点快速读取数据。

文章“Bubble Exection：Resource-aware Reliable Analytics at CloudScale”提出的气泡执行方法进行交互式工作负载下的大规模数据量查询任务，在有效保持低查询延迟的同时提高了容错能力。但其中按照任务优先级进行任务调度管理时，采用系统默认的排序方法，忽视了用户需求，根据实时性执行气泡执行方法不完全实现数据回滚。因此仅靠系统进行任务调度不能很好的解决实时性执行需求，仍需进一步改进，以提高查询处理过程中的计算效率和可控度。

发明内容

本发明的目的是为了解决现有气泡执行方法按照任务优先级进行任务调度管理时，采用系统默认的排序方法，忽视了用户需求，导致查询处理过程中的计算效率和可控度低的问题，而提出一种具有延迟约束功能的气泡执行方法。

一种具有延迟约束功能的气泡执行方法，其特征在于：所述方法具体过程为：

步骤一、引入查询优化器，将所有的查询语句分成若干查询计划，查询计划由有向无环图组成；

查询优化器采用贪心算法，将有向无环图划分为子图，每个子图称为一个气泡，每个气泡有自己的ID，即每个查询语句由多个气泡组成，每个气泡中有多个任务；

所述多个为大于等于2个；

步骤二、在每个气泡内部有一个队列，若气泡中所有任务的输入都已经准备好，则该气泡已经准备好，准备好的气泡进入气泡队列，气泡队列中全是已经准备好的气泡；

若气泡没有准备好，等待数据准备好；

若气泡中全部任务执行成功，则该气泡执行成功，则保存气泡执行的结果，将气泡从队列中移除；