[发明专利]集群作业的调度方法、装置、设备和存储介质

说明书

本申请提供一种集群作业的调度方法、装置、设备和存储介质，方法包括，作业分配过程，在收到待处理作业后，根据待处理作业的作业信息(包括作业类别，作业重要程度和作业数据量)分析出优先级评分，利用根据优先级评分确定的目标作业队列分配待处理作业，作业回收过程：根据运行中作业的累计运行时间和内存使用指标判断运行中作业是否符合异常作业条件；若运行中作业符合异常作业条件，终止运行中作业，并回收运行中作业的资源。本方案一方面根据作业的优先级评分划分不同作业队列，利用多个作业队列分配作业，避免大量作业拥堵，一方面及时识别异常作业并回收其资源，使集群可运行更多作业，达到提高集群的运行效率的效果。

技术领域

本发明涉及计算机技术领域，特别涉及一种集群作业的调度方法、装置、设备和存储介质。

背景技术

由管理节点和多个计算节点组成的计算机集群(以下简称集群)，是目前常用的一种作业处理系统，集群的用户可以向管理节点发送作业，然后管理节点通过作业队列将收到的作业分配给计算节点运行，计算节点运行结束后，管理节点再向用户反馈作业的运行结果。

现有技术中，管理节点仅通过一个作业队列分配作业，并且无法自动识别集群中的异常作业，一方面导致大量作业拥堵在同一作业队列中，无法及时分配给计算节点运行，另一方面集群中的异常作业也会大量消耗集群的资源，使得集群可运行的作业量减少。

因此，当有大量作业需要运行时，现有集群的运行效率较低。

发明内容

针对上述现有技术存在的问题，本申请提供一种集群作业的调度方法、装置、设备和存储介质，以提高集群运行作业的效率。

本申请第一方面提供一种集群作业的调度方法，包括：

作业分配过程：

在收到待处理作业后，获得所述待处理作业的作业信息；其中，所述作业信息包括作业类别，作业重要程度和作业数据量；

利用预先构建的作业分类模型分析所述待处理作业的作业信息，得到所述待处理作业的优先级评分；其中，所述作业分类模型利用预设的历史时间段内收到的多个作业的作业信息构建；

根据所述待处理作业的优先级评分，在多个作业队列中确定出一个目标作业队列；

通过所述目标作业队列将所述待处理作业分配至计算机集群中的计算节点，使所述计算节点运行所述待处理作业；

作业回收过程：

获得运行中作业的累计运行时间和内存使用指标；其中，所述运行中作业，指代集群中正在运行的作业；

根据所述运行中作业的累计运行时间和内存使用指标判断所述运行中作业是否符合异常作业条件；其中，所述异常作业条件包括，所述运行中作业的累计运行时间大于所述运行中作业的时间阈值，且所述运行中作业的内存使用指标大于内存使用阈值；

若所述运行中作业符合所述异常作业条件，终止符合所述异常作业条件的运行中作业，并回收符合所述异常作业条件的运行中作业所占用资源。

可选的，所述获得所述待处理作业的作业信息，包括：

读取所述待处理作业所携带的作业类别和作业重要程度；

计算所述待处理作业所携带的作业数据的数据量，得到所述待处理作业的作业数据量。

可选的，所述根据所述待处理作业的优先级评分，在多个作业队列中确定出一个目标作业队列，包括：

确定所述待处理作业的优先级评分所属评分区间；

将多个作业队列中，与所述待处理作业的优先级评分所属评分区间对应的作业队列，确定为目标作业队列；其中，每一个所述作业队列均预先设置有一个对应的评分区间。