[发明专利]一种多个服务共享同一个GPU的方法、系统、设备及介质

权利要求书

1.一种多个服务共享同一个GPU的方法，其特征在于，包括以下步骤：

响应于接收到创建GPU服务的请求，根据所述请求创建对应的GPU服务，并根据所述GPU服务创建对应数量的GPU Pods，将所述GPU服务与所述GPU Pods进行关联；

根据GPU Pods的配置创建Kubernetes Pods，并将所述Kubernetes Pods与所述GPUPods进行关联；

响应于接收到计算请求，根据所述计算请求确定需要申请的GPU显存或GPU时间片的规格并与所述GPU服务规定的阈值比对；

响应于所述GPU显存或时间片的规格不小于所述GPU服务规定的阈值，根据所述GPU显存或时间片的规格生成新的创建GPU服务的请求；

响应于所述GPU显存或时间片的规格小于所述GPU服务规定的阈值，读取所述GPU Pods和Kubernetes Pods的当前资源剩余量并与所述GPU显存或时间片的规格比对；以及

响应于所述GPU显存或时间片的规格小于所述GPU Pods和Kubernetes Pods的当前资源剩余量的总和，根据当前资源使用率和/或算力调度所述GPU Pods和Kubernetes Pods进行计算。

2.根据权利要求1所述的方法，其特征在于，还包括：

响应于所述GPU显存或时间片的规格不小于所述GPU Pods和Kubernetes Pods的当前资源剩余量的总和，将失败次数加一并每隔预设时间再次判断所述GPU显存或时间片的规格是否小于所述GPU Pods和Kubernetes Pods的当前资源剩余量的总和。

3.根据权利要求2所述的方法，其特征在于，还包括：

判断失败次数是否达到第二阈值，响应于失败次数达到第二阈值，增加所述预设时间的大小。

4.根据权利要求1所述的方法，其特征在于，所述根据当前资源使用率调度所述GPUPods和Kubernetes Pods进行计算包括：

将计算任务分配给每个GPU Pods和Kubernetes Pods以使得所述GPU Pods和Kubernetes Pods在进行计算时资源使用率相同。

5.根据权利要求1所述的方法，其特征在于，所述根据当前资源使用率调度所述GPUPods和Kubernetes Pods进行计算包括：

将GPU Pods按照算力从大到小进行排序，将计算任务按照顺序分给GPU Pods，以使得当前GPU Pods的资源使用率达到第三阈值后再将剩余的计算任务分配给后一个GPU Pods。

6.根据权利要求1所述的方法，其特征在于，所述根据当前资源使用率调度所述GPUPods和Kubernetes Pods进行计算包括：

将GPU Pods按照当前资源使用率从小到大进行排序，将计算任务按照顺序分给GPUPods，以使得当前GPU Pods的资源使用率达到第三阈值后再将剩余的计算任务分配给后一个GPU Pods。