[发明专利]基于kubernetes的GPU设备资源分配方法及系统

说明书

本发明公开了一种基于kubernetes的GPU设备资源分配方法及系统，方法包括：GPU设备插件为每个GPU真实设备生成至少两个逻辑设备；GPU设备插件将逻辑设备的设备ID和对应GPU真实设备的健康状况上报，若GPU应用容器被调度到GPU计算节点，kubelet设备管理器模块获取GPU应用容器的PodID、容器ID和绑定标记发送给GPU设备插件；GPU设备插件选择负载率最低的GPU真实设备分配逻辑设备，或者根据绑定标记、PodID匹配并分配GPU真实设备。本发明实现了GPU设备对GPU应用容器的共享，并提高了GPU设备利用率。

技术领域

本发明涉及计算机软件领域，尤其涉及一种基于kubernetes的GPU设备资源分配方法及系统。

背景技术

kubernetes是目前最常用的容器编排系统，容器化的应用更是复杂多样，某些应用容器需要使用GPU、FPGA、网卡等设备，对此，Kubernetes提供了设备资源管理机制来将设备的资源化。对于设备资源的注册与分配是由kubelet Device Manager(kubelet设备管理器)模块与设备插件之间进行交互，以获取计算节点的设备清单并申请设备资源，之后同步到Kubernetes中的API Server，当一个使用该设备的应用被部署时由调度器模块分配到相关计算节点。其中API Server是Kubernetes的核心模块，这里负责设备资源的统计与记录；调度器模块也是Kubernetes中的一部分，主要负责Pod的调度。

Pod是Kubernetes中调度的基本单位，一个Pod中可以包含多个GPU应用容器，但是目前kubernetes对于GPU设备资源的分配不能实现同属一个Pod的GPU应用容器共享GPU设备，并且，目前kubernetes中的GPU设备插件只满足每个GPU应用容器绑定一个单独的GPU设备，导致在多GPU设备计算节点部署大量GPU应用的场景下每个GPU设备的负载率较低，浪费了GPU设备资源。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于kubernetes的GPU设备资源分配方法及系统，能够实现对于GPU设备的共享和绑定，从而提高了GPU设备的利用率。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于kubernetes的GPU设备资源分配方法，应用于kubernetes中的GPU计算节点，所述GPU计算节点包括至少2个真实GPU设备，以及GPU设备插件和kubelet设备管理器模块，所述kubelet设备管理器模块通过GPU设备插件和每个真实GPU设备连接，所述方法包括以下步骤：

S1)GPU设备插件获取每个真实GPU设备的设备信息，根据每个真实GPU设备的显存大小，为每个真实GPU设备生成至少两个逻辑设备；

S2)GPU设备插件获取每个真实GPU设备的负载情况和健康状况，将所有的逻辑设备的设备ID和对应真实GPU设备的健康状况上报kubelet设备管理器模块，随后kubelet设备管理器模块会将设备资源所述真实GPU设备和逻辑设备的信息发送到Kubernetes中的API Server；

S3)若含有GPU应用容器的Pod被调度到GPU计算节点，kubelet设备管理器模块获取对应的Pod ID、容器ID和绑定标记及已分配的目标逻辑设备的设备ID，并一同发送给GPU设备插件；

S4)若目标逻辑设备的设备ID为一个，且绑定标记为第一值，GPU设备插件选择负载率最低的真实GPU设备，将目标逻辑设备分配给被选择的真实GPU设备，然后分配给对应的GPU应用容器，并调整其余逻辑设备和各真实GPU设备的对应关系，返回步骤S2)直到结束；否则执行步骤S5)；