[发明专利]一种基于kubernetes的提高GPU利用率的调度方法及装置

说明书

本发明公开了一种基于kubernetes的提高GPU利用率的调度方法，所述方法包括：获取在一段时间内的实时资源利用率；对该段时间内的实时资源利用率进行采样，得到该段时间内的平均资源利用率；根据所述该段时间的平均资源利用率、某一算法已使用的pod数量、最大利用率以及最小利用率预测得到下一段时间所需的pod数量；根据所述某一算法在下一段时间所需的pod数量与某一算法已使用的pod数量对pod数量进行调整。本发明通过算法能力的负载率替代底层硬件资源利用率，适应性更强，更能反映人工智能算法对当前分配资源的使用情况，据此调度，能够更合理的利用硬件资源，提高了资源利用率。

技术领域

本发明技术属于资源分配领域，具体涉及一种基于kubernetes的提高GPU利用率的调度方法及装置

背景技术

随着云计算、人工智能、大数据等技术的逐渐推进，安防系统越来越庞大，逐步采用如 Kubernetes来进行硬件资源调度及软件部署管理。Kubernetes是一种开源的容器集群管理系统，为容器化应用提供部署运行、资源调度等一系列完整功能，其中pod是其管理调度的最小单位，每一个pod可以看做一个虚拟机。

而对于安防系统中产生的原始图片数据，要求人工智能算法提取的数据信息也逐渐多维化，经常会出现不同厂商、不同业务类型的人工智能算法同时出现在同一系统中。

人工智能算法一般运行在独立的pod中，多数通过GPU硬件资源进行加速，系统中GPU 硬件资源是有限的，而不同厂商的人工智能算法对于GPU硬件利用率的优化程度是不同的，往往会出现GPU硬件利用率不高，但已经达到其算法的最高性能。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于kubernetes的提高GPU 利用率的调度方法及装置，用于解决现有技术的缺陷。

为实现上述目的及其他相关目的，本发明提供一种基于kubernetes的提高GPU利用率的调度方法，所述方法包括：

获取在一段时间内的实时资源利用率；

对该段时间内的实时资源利用率进行采样，得到该段时间内的平均资源利用率；

根据所述该段时间的平均资源利用率、某一算法已使用的pod数量、最大利用率以及最小利用率预测得到下一段时间所需的pod数量；

根据所述某一算法在下一段时间所需的pod数量与某一算法已使用的pod数量对pod数量进行调整。

可选地，所述获取在一段时间内的实时资源利用率，包括：

分别获取某一算法在第一时间段内、第二时间段内分析的图片数量；

根据某一算法在第一时间段内分析的图片数量与某一算法在第二时间内分析的图片数量以及某一算法在1秒钟所能分析的最大图片数量得到实时资源利用率。

可选地，所述的实时资源利用率，表示为：

其中，U_ij表示GPU的实时资源利用率，i,j分别第一时间段、第二时间段，ij，C_i表示某一算法在第一时间段内分析的图片数量，C_j表示某一算法在第二时间段内分析的图片数量， M表示某一算法在1秒钟所能分析的最大图片数量。

可选地，通过下式计算所述平均资源利用率，

其中，表示平均资源利用率，I表示一段时间内实时资源利用率的采样次数，J表示某一算法运行pod数量。

可选地，通过下式计算某一算法在下一段时间所需的pod数量；