[发明专利]一种业务调度方法、装置、设备及可读存储介质

说明书

本发明公开了一种业务调度方法，包括获取目标任务；获取kubernets集群中可执行目标任务的可用主机；将目标任务按照可用主机中NUMA组内空余GPU数量从多到少的顺序依次向NUMA组分配对应空余GPU数量的目标任务；根据预先获取的主机拓扑信息调用NUMA组内的GPU与同一NUMA组的CPU处理NUMA组对应的目标任务。在分配目标任务时，具体会优先使用同一NUMA组内的GPU与CPU处理目标任务，该GPU与CPU之间通讯距离最短，可以提高kubernets集群资源利用率和GPU资源利用率，从而减少业务执行时间。本发明还提供了一种装置、设备以及可读存储介质，同样具有上述有益效果。

技术领域

本发明涉及计算机技术领域，特别是涉及一种业务调度方法、一种业务调度装置、一种业务调度设备以及一种计算机可读存储介质。

背景技术

容器以其操作系统无关性的特性，受到众多开发人员、运维人员、各大云厂商的喜爱，在人工智能领域，越来越多的算法人员逐渐开始使用容器进行深度学习任务运行环境的打包、部署以及调试，从而解决深度学习环境搭建复杂的问题。对于致力于提供深度学习训练环境的平台厂商，通常会使用Kubernetes(是一个开源的，用于管理云平台中多个主机上的容器化的应用，简称：K8s)进行训练环境的管理，主要包括为深度学习任务创建基于容器的训练环境，并分配合理的GPU卡、CPU、内存等资源，算法人员可以使用平台提供的训练环境运行深度学习的训练任务。从资源利用率的角度，平台运维人员希望分配出去的资源能够被充分利用，提高集群的资源利用率，使用该训练环境的算法人员希望训练任务能够使用尽可能少的时间完成，加快模型的迭代速度。

在现有技术中，在通过Kubernetes分配任务资源时，通常仅仅是使用了GPU卡数量的选择，即在分布式场景下，目前的技术只是判断GPU卡的数量是否充足，如果GPU卡数量够就会执行任务。但是在现有技术中，通过上述任务分配策略分配的任务执行速度通常较慢，所以如何提高kubernets集群中任务执行速度是本领域技术人员急需解决的问题。

发明内容

本发明的目的是提供一种业务调度方法，可以有效提高kubernets集群中任务执行速度；本发明的另一目的在于提供一种业务调度装置、一种业务调度设备以及一种计算机可读存储介质，可以有效提高kubernets集群中任务执行速度。

为解决上述技术问题，本发明提供一种业务调度方法，包括：

获取目标任务；

获取kubernets集群中可执行所述目标任务的可用主机；

将目标任务按照所述可用主机中NUMA组内空余GPU数量从多到少的顺序依次向所述NUMA组分配对应空余GPU数量的目标任务；

根据预先获取的主机拓扑信息调用所述NUMA组内的GPU与同一NUMA组的CPU处理所述NUMA组对应的目标任务。

可选的，在所述将目标任务按照所述可用主机中NUMA组内空余GPU数量从多到少的顺序依次向所述NUMA组分配对应空余GPU数量的目标任务之前，所述方法还包括：

当所述目标任务需要多个所述NUMA组运行所述目标任务时，根据所述主机拓扑信息将所述目标任务分配给同一可用主机。

可选的，在所述将目标任务按照所述可用主机中NUMA组内空余GPU数量从多到少的顺序依次向所述NUMA组分配对应空余GPU数量的目标任务之前，所述方法还包括：

当所述目标任务需要多个所述可用主机运行所述目标任务时，根据预先获取的集群拓扑信息将所述目标任务分配给同一交换机所连接的多个所述可用主机。

可选的，在所述将目标任务按照所述可用主机中NUMA组内空余GPU数量从多到少的顺序依次向所述NUMA组分配对应空余GPU数量的目标任务之前，所述方法还包括：