[发明专利]任务的调度处理方法、装置及计算机设备

说明书

本申请涉及一种任务的调度处理方法、装置及计算机设备，该方法基于任务之间的依赖关系构建有向无环图，通过对构建的有向无环图进行深度遍历构建任务调度队列，最终基于该任务调度队列及任务之间的依赖关系，控制任务的调度与执行；其中，具备依赖关系的不同任务按依赖关系串行执行，不具备依赖关系的不同任务中的至少部分任务并行执行。本申请基于能体现任务依赖关系的有向无环图，将不具备依赖关系的不同任务中的至少部分任务并行执行，可一定程度上提升计算资源利用率并同时提升任务的计算效率，另外，按照任务之间的依赖关系对相依赖的任务串行执行，避免了任务对其所依赖的前置任务的重复执行，进一步提升了任务执行效率。

技术领域

本申请属于任务调度技术领域，尤其涉及一种任务的调度处理方法、装置及计算机设备。

背景技术

在推荐模型的特征分析任务中，比如天天快报推荐模型的特征分析任务中，通常需要计算一系列(如十几个)不同的特征指标，对于特征指标计算任务，目前的解决方案是，对需要计算的多个特征指标，按串行方式分别执行各个不同的特征指标的计算任务。

在上述串行方式中，各个不同的计算任务需依次排队执行，任务的排队等待易导致计算资源的闲置，相应会导致存在计算资源利用率低及任务计算效率低的缺陷。

发明内容

有鉴于此，本申请的目的在于提供一种任务的调度处理方法、装置及计算机设备，用于根据任务间的依赖关系构建任务的有向无环图，并基于有向无环图提供的并行、依赖计算框架，按并行方式结合任务间的依赖关系控制任务的调度与执行，相应达到提升计算资源利用率及提升任务计算效率的目的。

为实现上述目的，一方面，本申请提供了一种任务的调度处理方法，该方法包括：

确定各个任务之间的依赖关系；

基于各个任务之间的依赖关系，构建任务的有向无环图；

通过对所述有向无环图进行深度遍历，构建任务调度队列；

基于所述任务调度队列及各个任务之间的依赖关系，控制各个任务的调度与执行；其中，具备依赖关系的不同任务按依赖关系串行执行，不具备依赖关系的不同任务中的至少部分任务并行执行。

另一方面，本申请还提供了一种任务的调度处理装置，该装置包括：

确定单元，用于确定各个任务之间的依赖关系；

第一构建单元，用于基于各个任务之间的依赖关系，构建任务的有向无环图；

第二构建单元，用于通过对所述有向无环图进行深度遍历，构建任务调度队列；

控制单元，用于基于所述任务调度队列及各个任务之间的依赖关系，控制各个任务的调度与执行；其中，具备依赖关系的不同任务按依赖关系串行执行，不具备依赖关系的不同任务中的至少部分任务并行执行。

又一方面，本申请还提供了一种计算机设备，该计算机设备包括：

存储器，用于存储计算机可执行指令；

处理器，用于加载并执行所述计算机可执行指令，所述计算机可执行指令在被加载并执行时至少能用于实现如上所述的方法。

由以上方案可知，本申请提供的任务的调度处理方法、装置及计算机设备，基于任务之间的依赖关系构建有向无环图，通过对构建的有向无环图进行深度遍历构建任务调度队列，最终基于该任务调度队列及任务之间的依赖关系，控制任务的调度与执行；其中，具备依赖关系的不同任务按依赖关系串行执行，不具备依赖关系的不同任务中的至少部分任务并行执行。本申请基于能体现任务依赖关系的有向无环图，将不具备依赖关系的不同任务中的至少部分任务并行执行，可一定程度上提升计算资源利用率并同时提升任务的计算效率，另外，按照任务之间的依赖关系对相依赖的任务串行执行，避免了任务对其所依赖的前置任务的重复执行，进一步提升了任务执行效率。