[发明专利]任务调度方法、装置、设备、介质及产品

说明书

本公开提供了任务调度方法、装置、设备、介质及产品，涉及数据处理领域，尤其涉及云计算领域。具体实现方案为：获取目标计算节点中输入缓冲区的资源利用状态；其中，所述输入缓冲区为在目标计算节点中预先划分出的数据存储区域，用于存储与其他计算节点交互的数据；根据所述输入缓冲区的所述资源利用状态，并按照预设调度策略调整其他计算节点中所执行任务的并行度。本公开的方案避免了跨节点数据交互产生的额外开销，提高跨节点数据交互的效率。

技术领域

本公开涉及数据处理领域，尤其涉及云计算领域，具体涉及一种任务调度方法、装置、设备、介质及产品。

背景技术

在分布式交互分析引擎的应用过程中，必然会涉及到跨节点的数据交互。由于跨节点的数据交互会产生网络IO、磁盘IO以及CPU开销，带来额外的内存开销，这些开销会直接影响引擎中系统的性能，如查询性能。

发明内容

本公开提供了一种用于任务调度方法、装置、设备、介质及产品。

根据本公开的一方面，提供了任务调度方法，包括：

获取目标计算节点中输入缓冲区的资源利用状态；其中，所述输入缓冲区为在目标计算节点中预先划分出的数据存储区域，用于存储与其他计算节点交互的数据；

根据所述输入缓冲区的所述资源利用状态，并按照预设调度策略调整其他计算节点中所执行任务的并行度。

根据本公开的另一方面，提供了一种任务调度装置，包括：

缓冲区资源确定模块，用于获取目标计算节点中输入缓冲区的资源利用状态；其中，所述输入缓冲区为在目标计算节点中预先划分出的数据存储区域，用于存储与其他计算节点交互的数据；

执行任务调整模块，用于根据所述输入缓冲区的所述资源利用状态，并按照预设调度策略调整其他计算节点中所执行任务的并行度。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开中任一实施例所述的任务调度方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据本公开中任一实施例所述的任务调度方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开中任一实施例所述的任务调度方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例的一种任务调度方法的示意图；

图2是根据本公开实施例的另一种任务调度方法的示意图；

图3是根据本公开实施例的输入缓冲区、输出缓冲区及任务并发度的调整示意图；

图4是根据本公开实施例的又一种任务调度方法的示意图；

图5是根据本公开实施例的又一种任务调度方法的示意图；

图6是根据本公开实施例的一种任务调度装置的结构示意图；

图7是用来实现本公开实施例的任务调度方法的电子设备的框图。