[发明专利]深度学习训练任务的管理方法及管理装置

说明书

本申请公开了一种深度学习训练任务的管理方法及管理装置，该深度学习训练任务的管理方法包括：确定第一深度学习训练任务所在第一任务队列的资源使用信息；基于第一任务队列的资源使用信息，调整第一任务队列对应的第一计算机集群的资源容量；控制调整资源容量后的第一计算机集群执行第一深度学习训练任务。本申请的技术方案通过对第一任务队列对应的第一计算机集群的资源容量进行调整，并利用调整资源容量后的第一计算机集群执行第一任务队列中的第一深度学习训练任务，从而可以从整体上提高资源的利用率，避免出现资源闲置以及资源紧张的问题，进而降低深度学习训练任务的训练成本。

技术领域

本发明涉及计算机技术领域，具体涉及一种深度学习训练任务的管理方法及管理装置。

背景技术

在深度学习技术领域，深度学习模型的训练过程是必不可少的。深度学习模型的训练过程可以看成深度学习训练任务。深度学习训练任务的管理系统可以对多个深度学习训练任务的训练过程进行管理，使得多个深度学习训练任务按照顺序进行训练。但是现有的深度学习训练任务的管理系统对资源的利用率低，导致训练效率低下、训练成本高。

发明内容

为了解决上述技术问题，本申请的实施例提供了一种深度学习训练任务的管理方法及管理装置。

根据本申请的一个方面，提供了一种深度学习训练任务的管理方法，包括：确定第一深度学习训练任务所在第一任务队列的资源使用信息；基于第一任务队列的资源使用信息，调整第一任务队列对应的第一计算机集群的资源容量；控制调整资源容量后的第一计算机集群执行第一深度学习训练任务。

根据本申请的另一个方面，提供了一种深度学习训练任务的管理装置，包括：确定模块，用于确定第一深度学习训练任务所在第一任务队列的资源使用信息；调整模块，用于基于第一任务队列的资源使用信息，调整第一任务队列对应的第一计算机集群的资源容量；执行模块，用于控制调整资源容量后的第一计算机集群执行第一深度学习训练任务。

根据本申请的又一个方面，提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述的深度学习训练任务的管理方法。

根据本申请的又一个方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器，其中，处理器用于执行上述的深度学习训练任务的管理方法。

本申请实施例提供了一种深度学习训练任务的管理方法及管理装置，通过根据第一任务队列的资源使用信息，对第一任务队列对应的第一计算机集群的资源容量进行调整，可以在第一计算机集群的资源使用紧张的情况下，将第二计算机集群的资源调整给第一计算机集群，或者在第一计算机集群有资源闲置的情况下，将第一计算机集群的闲置资源调整给第二计算机集群，从而可以从整体上提高资源的利用率，避免出现资源闲置以及资源紧张的问题，进而降低深度学习训练任务的训练成本。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请一示例性实施例提供的深度学习训练任务的管理系统的系统架构示意图。

图2是本申请一示例性实施例提供的深度学习训练任务的管理方法的流程示意图。

图3是本申请另一示例性实施例提供的调整第一任务队列对应的第一计算机集群的资源容量的流程示意图。

图4是本申请另一示例性实施例提供的深度学习训练任务的管理方法的流程示意图。

图5是本申请另一示例性实施例提供的确定第一深度学习训练任务的分值的流程示意图。

图6是本申请另一示例性实施例提供的深度学习训练任务的管理方法的流程示意图。