[发明专利]分布式任务处理方法、装置、存储介质和计算机设备

说明书

本申请涉及一种分布式任务处理方法、装置、计算机可读存储介质和计算机设备，所述方法包括：获取分布式任务，分布式任务包括多个首次执行的子任务，当检测到当前子任务为首次执行的子任务，且当前子任务对应的任务进程的运行时长大于预设的运行时长时，将当前子任务标记为运行超时任务，并中断当前子任务的任务进程；统计运行超时任务的总数量，当运行超时任务的总数量小于预设阈值时，将中断任务进程的当前子任务的任务状态标记为已完成状态；获取分布式任务的各个子任务对应的任务状态，当各个子任务的任务状态为已完成状态时，将分布式任务的状态标记为运行结束状态。

技术领域

本申请涉及分布式计算技术领域，特别是涉及一种分布式任务处理方法、装置、存储介质和计算机设备。

背景技术

随着计算机技术的发展，有些应用需要巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。分布式计算将应用分解成许多小的部分，分配给多台计算机进行处理，这样可以节约整体计算时间，大大提高计算效率。

以MapReduce分布式计算为例，将一个MapReduce作业拆分成为多个计算子任务提交至集群运行。由于生产环境中经常出现数据倾斜、不同任务计算时读取的数据源或者访问的外部服务负载不均衡等，导致一些计算任务处理的数据量较大、读数据的速度较慢或者访问外部服务的速度较慢，这样严重拖慢整个作业的进度。

传统的分布式任务处理方法，在作业运行过程中，每个作业的AM(ApplicationMaster，主控线程)内部的推测执行器模块在任务过程中，定时检查作业的各个子任务的运行进度，根据推测执行器模块的推测执行算法查找各个子任务中的长尾任务，并在其它计算节点上启动长尾任务的副本。这种处理方式以消耗更多的计算资源为代价，换取任务执行速度，存在作业性能低的问题。

发明内容

基于此，针对上述技术问题，提供一种可以提高作业性能的分布式任务处理方法、装置、存储介质和计算机设备。

一种分布式任务处理方法，所述方法包括：

获取分布式任务，所述分布式任务包括多个首次执行的子任务；

执行所述分布式任务，当检测到当前子任务为首次执行的子任务，且所述当前子任务对应的任务进程的运行时长大于预设的运行时长时，将所述当前子任务标记为运行超时任务，并中断所述当前子任务的任务进程；

统计所述运行超时任务的总数量，当所述运行超时任务的总数量小于预设阈值时，将中断任务进程的当前子任务的任务状态标记为已完成状态；

获取所述分布式任务的各个子任务对应的任务状态，当所述各个子任务的任务状态为已完成状态时，将所述分布式任务的状态标记为运行结束状态。

一种分布式任务处理装置，所述装置包括：

任务获取模块，用于获取分布式任务，所述分布式任务包括多个首次执行的子任务；

运行超时标记模块，用于执行所述分布式任务，当检测到当前子任务为首次执行的子任务，且所述当前子任务对应的任务进程的运行时长大于预设的运行时长时，将所述当前子任务标记为运行超时任务，并中断所述当前子任务的任务进程；

运行超时处理模块，用于统计所述运行超时任务的总数量，当所述运行超时任务的总数量小于预设阈值时，将中断任务进程的当前子任务的任务状态标记为已完成状态；

作业处理模块，用于获取所述分布式任务的各个子任务对应的任务状态，当所述各个子任务的任务状态为已完成状态时，将所述分布式任务的状态标记为运行结束状态。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：

获取分布式任务，所述分布式任务包括多个首次执行的子任务；