[发明专利]一种资源控制方法和装置

说明书

本申请提供一种资源控制方法和装置，所述方法包括：获取每个服务单元的图形处理器GPU信息和内存信息；根据每个服务单元的GPU信息、内存信息以及当前服务单元总数量确定伸缩策略，所述伸缩策略用于控制服务单元的数量。通过上述技术方案，可以对深度学习预测服务的资源数量进行有效的控制。

技术领域

本发明涉及计算机领域，尤其涉及一种资源控制方法和装置。

背景技术

弹性伸缩一般有两种方法：水平伸缩和垂直伸缩。水平伸缩是增删服务单元的数量，垂直伸缩是改变每个服务单元的资源。Kubernetes(一个开源的、用于管理云平台中多个主机上的容器化的应用)官方采用的HPA(Horizontal服务单元Autoscaling，水平伸缩)策略是根据每个服务单元Pod(Kubernetes中的最小部署单元，由一组紧耦合的容器组成的容器组)的CPU(Central Processing Unit，中央处理器)监控数据，决定增加/删除Pod的数量。在深度学习的时代，很多公司都提供了深度学习的预测服务，而且很多云服务平台是基于Kubernetes集群部署的。深度学习的预测服务在本质上和普通的服务没有区别，但是在运行过程中，普通的服务更依赖于CPU，而深度学习的预测服务对CPU的依赖较小，通过CPU的监控数据控制无法有效的控制Pod的数量。

发明内容

本申请所要解决的技术是提供一种资源控制方法和装置，可以对深度学习预测服务的资源数量进行有效的控制。

为了解决上述技术问题，本申请提供了一种资源控制方法，所述方法包括：

获取每个服务单元的图形处理器GPU信息和内存信息；

根据每个服务单元的GPU信息、内存信息以及当前服务单元总数量确定伸缩策略，所述伸缩策略用于控制服务单元的数量。

可选地，所述根据每个服务单元的GPU信息、内存信息以及当前服务单元总数量确定伸缩策略包括：

根据每个服务单元的GPU信息计算每个服务单元的GPU使用率；

根据每个服务单元的内存信息计算每个服务单元的内存使用率；

根据每个服务单元的GPU使用率、内存使用率以及当前服务单元总数量确定伸缩策略。

可选地，根据每个服务单元的GPU使用率、内存使用率以及当前服务单元总数量确定伸缩策略包括：

当满足以下任一条件时，确定伸缩策略为增加服务单元：

当前所有服务单元的平均GPU使用率大于第一阈值，且当前服务单元总数量小于服务单元数量最大阈值；

当前所有服务单元的平均内存使用率大于第二阈值，且当前服务单元总数量小于服务单元数量最大阈值。

可选地，所述根据每个服务单元的GPU使用率、内存使用率以及当前服务单元总数量确定伸缩策略包括：

若当前所有服务单元的平均GPU使用率和平均内存使用率均小于第三阈值，且当前服务单元总数量大于服务单元数量最小阈值，则确定伸缩策略为删除服务单元和/或暂停服务单元。

可选地，所述根据每个服务单元的GPU信息、内存信息以及当前服务单元总数量确定伸缩策略之后，所述方法还包括：

执行所述伸缩策略对应的操作。

本申请还提供一种资源控制装置，包括：存储器和处理器；所述存储器，用于保存用于资源控制的程序；

所述处理器，用于读取执行所述用于资源控制的程序，执行如下操作：

获取每个服务单元的图形处理器GPU信息和内存信息；