[发明专利]GPU资源配置方法、装置、电子设备及存储介质

权利要求书

1.一种GPU资源配置方法，其特征在于，包括：

响应于推理任务请求，在若干服务器中确定执行所述推理任务请求的执行服务器；其中，所述若干服务器的内存中部署有多个待分配GPU的推理服务的服务模型，每一服务器中部署有用于为推理服务分配GPU的GPU管理单元，所述执行服务器上部署有执行所述推理任务所需的目标推理服务；

通过所述GPU管理单元为所述目标推理服务分配GPU。

2.根据权利要求1所述的GPU资源配置方法，其特征在于，

所述通过所述GPU管理单元为所述目标推理服务分配GPU，包括：

在所述执行服务器的GPU中确定目标GPU；

通过所述GPU管理单元将所述目标GPU分配给所述目标推理服务。

3.根据权利要求2所述的GPU资源配置方法，其特征在于，

所述执行服务器的GPU中部署有所述执行服务器中部分或全部待分配GPU的推理服务的服务模型。

4.根据权利要求3所述的GPU资源配置方法，其特征在于，所述响应于推理任务请求，在若干服务器中确定执行所述推理任务请求的执行服务器之前，还包括：

为每一推理服务在至少一个服务器中部署至少一个容量单元和至少一个热备单元；其中，推理服务的容量单元为计算空间被所述推理服务所占用的GPU，推理服务的热备单元为仅模型空间中存储有所述推理服务的服务模型的GPU。

5.根据权利要求4所述的GPU资源配置方法，其特征在于，

所述在所述执行服务器的GPU中确定目标GPU，包括：

若所述目标推理服务的容量单元的容量与所述任务的负载量之差小于预设值，则将所述目标推理服务的热备单元激活为容量单元，以使所述目标推理服务占用所述热备单元的计算空间和使用权。

6.根据权利要求5所述的GPU资源配置方法，其特征在于，

每个热备单元中存储有至少一种推理服务的服务模型，若热备单元中存储有多个服务模型，则所述多个服务模型对应的多种推理服务共享所述热备单元；

每个推理服务具有多个热备单元；

相应地，所述将所述目标推理服务的热备单元激活为容量单元，包括：

将所述目标推理服务的一个或多个热备单元激活为容量单元；

将已被激活的热备单元从共享对象的热备单元集合中移除；

其中，所述共享对象为与所述目标推理服务共享热备单元的推理服务。

7.根据权利要求6所述的GPU资源配置方法，其特征在于，

所述将所述目标推理服务的一个或多个热备单元激活为容量单元，包括：

基于热备单元总扩容度最大化在所述目标推理服务的多个热备单元中确定待激活的热备单元；

将待激活的热备单元激活为容量单元；

其中，一个热备单元的扩容度与其所属推理服务现存的热备单元数量负相关。

8.一种GPU资源配置装置，其特征在于，包括：任务调度中心和若干服务器；其中，每一服务器中有若干GPU和用于为推理服务分配GPU的GPU管理单元；

所述若干服务器的内存中部署有多个待分配GPU的推理服务的服务模型；其中，每一服务器的内存中存储有若干待分配GPU的推理服务的服务模型；

所述任务调度中心用于响应推理任务请求，在若干服务器中确定执行所述推理任务请求的执行服务器，并向所述执行服务器的GPU管理单元发出GPU分配指令；其中，所述执行服务器为部署有执行所述任务所需的目标推理服务的服务器；

所述GPU管理单元用于依据所述任务调度中心发出的GPU分配指令为所述目标推理服务分配GPU。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，其存储有可执行的程序指令，当所述程序指令由所述处理器来执行时，使得所述电子设备实现如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序指令，当计算机程序指令由一个或多个处理器来执行时，使得处理器实现如权利要求1-7任一项所述的方法。