[发明专利]一种计算任务调度方法、装置、系统及存储介质

说明书

本发明公开了一种计算任务调度方法、装置、系统及计算机可读存储介质，该方法包括：当接收到计算执行器发送的任务完成请求时，查询计算执行器的资源信息以及任务信息；将资源信息以及任务信息发送给资源调度装置，以使其根据资源信息以及任务信息，确定是否允许计算执行器复用；若接收到允许计算执行器复用的指令，则接收资源控制装置下发的任务，并将任务发送给计算执行器，以使计算执行器执行任务；该方法在已经创建的计算执行器执行完任务后，直接向该计算执行器继续发送需要执行的任务；通过复用计算执行器期间，不需要重复创建和回收计算执行器，减少了任务运行期间计算执行器创建和销毁的耗时，进而提升整个计算任务调度的灵活性。

技术领域

本发明涉及通信技术领域，特别涉及一种计算任务调度方法、装置、系统及计算机可读存储介质。

背景技术

在大数据时代，计算任务调度系统应用越来越广泛。目前最成熟、最常见的调度器yarn被广泛使用，其中，yarn属于双层调度范式，资源调度器是yarn中最核心的组件之一，用于实现所需的调度逻辑。例如，在分布式系统中，yarn能够轻松的将计算任务调度到适合它的最优节点上执行，并且支持多种调度策略。yarn通过创建一个个的container(计算执行器，由一系列资源组成的进行任务计算)去执行计算任务，并在执行完计算任务后将container销毁回收。

目前，当存在计算任务被挂起时，需要等待其他container撤消回收对应的资源之后，再次创建一个新的container并调用其执行对应的计算任务，且在执行完计算任务后将该container销毁回收。在该过程中container的创建回收，再创建再回收降低了整个计算任务调度系统的灵活性，且container的创建和回收也会增加计算任务执行的耗时。

发明内容

本发明的目的是提供一种计算任务调度方法、装置、系统及计算机可读存储介质，通过复用该计算执行器期间，不需要重复创建和回收计算执行器，进而减少了任务运行期间计算执行器创建和销毁的耗时，进而提升整个计算任务调度系统的灵活性。

为解决上述技术问题，本发明提供的一种计算任务调度方法，包括：

当接收到计算执行器发送的任务完成请求时，查询所述计算执行器的资源信息以及任务信息；

将所述资源信息以及所述任务信息发送给资源调度装置，以使所述资源调度装置根据所述资源信息以及所述任务信息，确定是否允许所述计算执行器复用；

若接收到允许所述计算执行器复用的指令，则接收资源控制装置下发的任务，并将所述任务发送给所述计算执行器，以使所述计算执行器执行所述任务。

可选的，所述查询所述计算执行器的资源信息以及任务信息，包括：

查询元数据存储器中所述计算执行器的资源信息以及任务信息；其中，所述资源信息包含所述计算执行器所在节点，所述任务信息包含任务类型。

可选的，所述资源调度装置根据所述资源信息以及所述任务信息，确定是否允许所述计算执行器复用，包括：

所述资源调度装置判断所述计算执行器所在节点是否存在具有相同所述任务类型的未执行任务；

若存在，则允许所述计算执行器复用；

若不存在，则不允许所述计算执行器复用。

可选的，当确定不允许所述计算执行器复用时，包括：

所述资源调度装置回收所述计算执行器。

可选的，当接收到计算执行器发送的任务完成请求之前，还包括：

所述资源控制装置向所述资源调度装置申请任务所需资源；

所述资源调度装置根据最优策略确定最优调度节点，并通知所述最优调度节点创建计算执行器；