[发明专利]一种任务处理方法、服务平台及电子设备

说明书

本申请提供了一种任务处理方法、服务平台及电子设备，所述方法在获得启动第一任务的指令时，确定当前运行的能够与所述第一任务进行资源共享的第二任务，并基于所述第二任务所使用的目标资源的剩余资源，启动所述第一任务。其中，所述第二任务所使用的目标资源的资源剩余量不低于所述第一任务运行时所需的资源量。由此可见，本申请提供了一种多任务进行资源共享的方案，当将本申请方案应用于小任务的资源调度中时，可将多于一个的小任务基于同一个gpu启动并运行，以此实现了多个小任务共享同一gpu资源，有效克服了现有技术中因小任务独占gpu而使得gpu资源利用率低的问题，降低了资源浪费。

技术领域

本发明属于资源调度技术领域，尤其涉及一种任务处理方法、服务平台及电子设备。

背景技术

目前，在资源调度系统中，如AI(ArtificialIntelligence，人工智能)平台的资源调度中，对于gpu资源而言，其资源分配的最小粒度是一块gpu(graphicsprocessing unit，图形处理器)，也就是说，一个运行的任务(如AI平台中正在执行的图像、语音等方面的模型训练任务，或者基于模型的图像、语音数据处理任务等)会占用至少一块gpu。

此种资源分配情况，会导致出现小任务独占gpu从而使得gpu利用率较低的问题，从而会造成资源的浪费。

发明内容

有鉴于此，本申请的目的在于提供一种资源分配方法及装置，用于提升资源调度领域中gpu的利用率，从而降低资源浪费。

为此，本申请公开如下技术方案：

一种任务处理方法，应用于服务平台，所述方法包括：

获得启动第一任务的指令；

确定当前运行的能够与所述第一任务进行资源共享的第二任务；其中，所述第二任务所使用的目标资源的资源剩余量不低于所述第一任务运行时所需的资源量；

基于所述第二任务所使用的所述目标资源的剩余资源，启动所述第一任务。

上述方法，优选的，所述确定当前运行的能够与所述第一任务进行资源共享的第二任务，包括：

获得所述第一任务的预定任务参数的参数数据，以及获得当前运行的能够进行资源共享的各个第二任务的预定任务参数的参数数据；

利用预先训练的预估模型，基于所述第一任务的预定任务参数的参数数据，预估所述第一任务运行过程中所需的资源量；利用所述预估模型，基于所述各个第二任务的预定任务参数的参数数据，预估所述各个第二任务运行过程中所需的资源量；

根据所述第一任务运行过程中所需的资源量、每个所述第二任务运行过程中所需的资源量以及每个所述第二任务使用的资源，确定当前运行的能够与所述第一任务进行资源共享的第二任务。

上述方法，优选的，所述利用预先训练的预估模型，预估所述第一任务运行过程中所需的资源量，以及预估所述各个第二任务运行过程中所需的资源量包括：

利用所述预估模型，预估所述第一任务在全生命周期的运行过程中所需资源量的走势信息；

利用所述预估模型，预估各个所述第二任务在剩余的生命周期中分别所需资源量的走势信息。

上述方法，优选的，还包括：

在所述第一任务启动完成并运行后，更新记录所述目标资源上运行的各任务的任务信息。

上述方法，优选的，还包括：

在获得针对运行于所述目标资源上的相应任务的任务结束指令时，判断所述目标资源上是否运行有其他任务，得到判断结果，所述其他任务为所述目标资源上运行的除所述任务结束指令所指示的任务之外的任务；