[发明专利]集群任务的资源分配方法及装置、计算机装置及存储介质

权利要求书

1.一种集群任务的资源分配方法，其特征在于，包括：

获取待处理集群任务的任务特征信息；

基于所述待处理集群任务的任务特征信息确定所述待处理集群任务的任务类别，以及确定与所述待处理集群任务的任务类别对应的资源预测模型；

基于所述待处理集群任务的任务特征信息，以及所述对应的资源预测模型，获取所述待处理集群任务的资源需求信息；

根据所述待处理集群任务的资源需求信息为所述待处理集群任务进行资源分配；

所述方法还包括：

获取已完成集群任务的任务特征信息；

基于所述已完成集群任务的任务特征信息，通过预设的聚类算法进行聚类处理，以获取所述集群任务的任务类别，以及每个任务类别对应的聚类标准；

其中，所述基于所述待处理集群任务的任务特征信息确定所述待处理集群任务的任务类别包括：基于所述待处理集群任务的任务特征信息，以及每个任务类别对应的聚类标准，获取所述待处理集群任务的任务类别；

所述方法还包括：

获取新完成集群任务的资源使用信息；

根据所述新完成集群任务的资源使用信息，对所述资源预测模型进行修正。

2.根据权利要求1所述的方法，其特征在于，所述任务特征信息包括文件大小、文件数目、文件类型、镜像名称、镜像大小、镜像哈希码、程序文本长度、外部获取的数据集大小中的至少一项。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取每个任务类别的已完成集群任务的资源使用信息；

基于每个任务类别的已完成集群任务的任务特征信息，以及每个任务类别的已完成集群任务的资源使用信息进行模型训练，以获取与每个任务类别对应的资源预测模型。

4.根据权利要求3所述的方法，其特征在于，所述资源使用信息包括资源消耗信息、资源使用周期信息、资源异常信息和资源使用峰值信息中的至少一项；

所述资源消耗信息包括CPU消耗信息、GPU消耗信息、内存消耗信息、磁盘消耗信息和网络资源消耗信息中的至少一项。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

获取每个任务类别的已完成集群任务的任务状态信息；

所述基于每个任务类别的已完成集群任务的任务特征信息，以及每个任务类别的已完成集群任务的资源使用信息进行模型训练，以获取与每个任务类别对应的资源预测模型，包括：

基于所述每个任务类别的已完成集群任务的任务状态信息对所述资源使用信息进行参数调整；

基于每个任务类别的已完成集群任务的任务特征信息，以及从参数调整后的每个任务类别的已完成集群任务的资源使用信息进行模型训练，以获取与每个任务类别对应的资源预测模型。

6.根据权利要求5所述的方法，其特征在于，所述任务状态信息包括任务成功状态、任务失败状态和任务失败状态原因信息中的至少一项。

7.根据权利要求6所述的方法，其特征在于，所述任务失败状态原因为内存不足时，则所述基于所述每个任务类别的已完成集群任务的任务状态信息对所述资源使用信息进行参数调整包括：

使用预设的膨胀系数对所述资源使用信息中的内存消耗信息进行参数调整。

8.根据权利要求5所述的方法，其特征在于，所述预设的聚类算法为K-means算法，所述资源预测模型为树模型。

9.根据权利要求5所述的方法，其特征在于，所述根据所述新完成集群任务的资源使用信息，对所述资源预测模型进行修正，包括：

根据所述新完成集群任务的资源使用信息，以及基于所述资源预测模型获取的所述新完成集群任务的资源需求信息，获取所述新完成集群任务的资源预测误差；

根据所述资源预测误差进行所述资源预测模型更新处理、进行重新聚类处理和进行重新模型预测处理中的至少一项。