[发明专利]一种GPU资源调度方法

权利要求书

1.一种GPU资源调度方法，其特征在于，包括步骤：

S1、首先从集群中收集GPU的基本信息，并提供gpu-usages接口，进入步骤S2；

S2、创建GPU应用，并向Kubernetes调度器发送应用请求，进入步骤S3；

S3、Kubernetes调度器在接收到该应用请求后会遍历集群中所有的GPU应用，进入步骤S4；

S4、通过gpu-usages接口计算满足该应用的调度需求的GPU，进入步骤S5；

S5、GPU管理器按照应用上GPU所在机器将指定的GPU资源绑定到该应用中。

2.如权利要求1所述的一种GPU资源调度方法，其特征在于，步骤S2中，创建GPU应用过程中，应用提供其所需要的显存值以及算力值。

3.如权利要求1或2所述的一种GPU资源调度方法，其特征在于，步骤S1中，收集GPU的基本信息包括GPU的型号、显存和GPU核心。

4.如权利要求3所述的一种GPU资源调度方法，其特征在于，步骤S4中，若集群中没有满足该应用的调度需求的GPU，则进入步骤S6，S6、GPU资源的隔离。

5.如权利要求4所述的一种GPU资源调度方法，其特征在于，S6包括步骤S60和S61，S60、发现应用程序要求的显存超出了预先设定值，或者大于集群中所有GPU显存值，则返回显存分配失败；S61、对执行线程进行包装，周期性检查该程序对GPU的核心使用率，超过设定的使用核心值，或者大于集群中所有GPU显存值，则把当前执行线程划入等待执行线程中。

6.如权利要求1或2或4或5所述的一种GPU资源调度方法，其特征在于，在步骤S2中，创建GPU应用过程中，还应该提供其所需要的GPU的型号和GPU的个数。

7.如权利要求6所述的一种GPU资源调度方法，其特征在于，在步骤S4中，取满足需求的第一个GPU，在应用上标记GPU所在的机器的名字以及GPU在机器中的编号。

8.如权利要求1或2或4或5或7所述的一种GPU资源调度方法，其特征在于，在步骤S4中，通过gpu-usages接口寻找有相应个数空闲GPU的机器，并从中选择空闲个数最少的机器将其名称添加到应用中。

9.如权利要求1或2或4或5或7所述的一种GPU资源调度方法，其特征在于，在步骤S5中，GPU管理器使用穷举法将GPU分配给该应用，完成GPU资源的调度和绑定。

10.如权利要求1-9任意所述的一种GPU资源调度方法，其特征在于，该方法对一个GPU应用或者多个GPU应用完成GPU资源的调度。