[发明专利]集群队列资源的调度方法、装置、设备及存储介质

说明书

本发明提供一种集群队列资源的调度方法、装置、设备及存储介质，即通过确定所述集群系统中的各个待处理子任务队列以及所述待处理子任务队列中的各个待处理子任务，并获取所述集群系统的系统资源参数、所述待处理子任务队列的队列相关参数以及所述待处理子任务的任务相关参数；将所述系统资源参数、队列相关参数以及任务相关参数输入至预设线性回归模型，并通过所述线性回归模型获取所述待处理子任务对应的子任务预计时间；将所述子任务预计时间与预设标准时间进行比对，并根据所述子任务预计时间与所述标准时间的比对结果，对所述待处理子任务的队列资源以及系统资源进行调度。本发明减少了任务完成时间，提高了资源调度效率。

技术领域

本发明涉及任务调度技术领域，尤其涉及一种集群队列资源的调度方法、装置、设备及计算机可读存储介质。

背景技术

在现有的集群系统中，一般为每一个业务用户设置一个队列，并为每个队列预先固定分配相应的处理资源，包括cpu和内存，而某些业务逻辑的任务对于一些计算任务的完成要求较高，但是上述计算任务的进度可能由于一些原因(如集群环境问题，前置作业失败等)会发生延时，不能及时调整队列的处理资源，容易出现任务堆积，从而导致该计算任务无法在规定时间内完成，降低了集群队列资源的调度效率。因此，如何解决现有集群队列资源的调度效率低下，成为了目前亟待解决的技术问题。

发明内容

本发明的主要目的在于提供一种集群队列资源的调度方法、装置、设备及计算机可读存储介质，旨在解决现有集群队列资源的调度效率低下的技术问题。

为实现上述目的，本发明提供一种集群队列资源的调度方法，其特征在于，所述集群队列资源的调度方法应用于集群系统，所述集群队列资源的调度方法包括以下步骤：

确定所述集群系统中的各个待处理子任务队列以及所述待处理子任务队列中的各个待处理子任务，并获取所述集群系统的系统资源参数、所述待处理子任务队列的队列相关参数以及所述待处理子任务的任务相关参数；

将所述系统资源参数、队列相关参数以及任务相关参数输入至预设线性回归模型，并通过所述线性回归模型获取所述待处理子任务对应的子任务预计时间；

将所述子任务预计时间与预设标准时间进行比对，并根据所述子任务预计时间与所述标准时间的比对结果，对所述待处理子任务的队列资源以及系统资源进行调度。

可选地，所述将所述系统资源参数、队列相关参数以及任务相关参数输入至预设线性回归模型，并通过所述线性回归模型获取所述待处理子任务对应的子任务预计时间的步骤之前，还包括：

在预设模型训练数据中确定所述待处理子任务对应的待训练模型以及模型训练数据；

获取所述模型训练数据中的系统资源训练参数、队列相关训练参数以及任务相关训练参数，作为所述待训练模型中的自变量参数；

获取所述模型训练数据中的目标子任务预计时间，作为所述待训练模型中的因变量参数；

根据线性回归公式、所述自变量参数以及所述因变量参数，将所述待训练模型训练生成所述线性回归模型。

可选地，所述根据线性回归公式、所述自变量参数以及所述因变量参数，将所述待训练模型训练生成所述线性回归模型的步骤具体包括：

将所述自变量参数以及所述因变量参数输入至所述线性回归公式，以得到训练后的初始回归参数，其中，所述线性回归公式为：

y＝b0+b1X1+b2X2+…+bnXn，X1、X2、Xn为自变量参数，y为因变量参数，b0、b1、bn为初始回归参数；

根据最小二乘估计算法，对所述初始回归参数进行调整，生成目标回归参数；

根据所述目标回归参数以及所述待训练模型，生成所述线性回归模型。