[发明专利]一种多CPU/GPU异构服务器集群的低能耗作业调度方法

说明书

本发明公开了一种多CPU/GPU异构服务器集群的低能耗作业调度方法。首先接收用户提交的作业，根据该作业在CPU和GPU上的执行时间情况对该作业进行分类，然后调用动态分配方法对该作业进行分配。动态分配方法的中心思想在于尽可能把任务分配到偏好的处理器上以确保较好的执行效果，无法分配时把尝试把处理器的任务队列中异构比较小的任务替换出来，必要时可以通过DVFS技术调高处理器频率的方法强行分配，通过这种方法达到少开服务器以降低能耗的效果。本发明以最小化集群完成任务所需能耗为目的，在满足作业时限的前提下，实现在线的调度作业，该方法计算简单、运算速度快，适用于在线、大规模的服务请求场景。

技术领域

本发明涉及集群节能领域，特别是一种多CPU/GPU异构服务器集群的低能耗作业调度方法，即在满足作业时限的前提下，采用合理的作业分配方法，从而保证作业的顺利完成并且最小化集群的能耗。

背景技术

云计算提供商和高性能计算(HPC)集群通常依赖于由多个CPU和GPU组成的服务器节点来处理高性能密集型计算。例如美国最强超级计算机summit，一共有4,608个运算节点，每节点就是一台主机，每个节点内仍然使用与泰坦类似的CPU+GPU异构运算体系，由两颗 POWER9 CPU以及六块NVIDIA Tesla V100运算加速卡组成。由于GPU优秀的高密度运算以及高效并行性等优点，通常CPU可以把任务交给GPU处理以节约时间，因此GPU常常被用作计算加速器。比如相同的卷积神经网络的训练这种有大量简单运算的任务，使用GPU运行的速度可能是CPU的数十倍。GPU同时还比传统的多核CPU更为节能，在评选每瓦性能比的Green500中，前25名中使用Nvidia GPU加速的就有22台，其中summit由于使用了 CPU+GPU异构运算体系，在Green500排名中也排到了第8名。即便summit的每瓦性能比已经十分优秀，但summit使用的液冷系统，每分钟流量高达4,000加仑，4,608台主机连同液冷系统的整机组全速运行时的功率就高达1500万瓦，几乎是泰坦的两倍。因此，哪怕是几个百分比电量的节约，都能节省下大量资金。

多CPU/GPU异构服务器中节能的研究中两种常用的数据节能技术是动态电压和频率缩放(DVFS)和动态资源休眠(DRS)。DVFS指的是动态调整处理器电压和频率的能力，而DRS 则将空闲服务器置于深度睡眠状态(或简单地关闭它们)以节省能源。大量的理论研究将处理器功耗与处理器速度这一单一变量联系在一起，通过改变处理器的电压和频率来控制处理器的速度。有一研究提出了一种自适应映射技术，将应用映射到由CPU和GPU组成的异构系统上。该映射算法已在一个名为Qilin的实验系统中实现，用于CPU和GPU的编程。评估结果表明，与手动映射(例如，程序员手动完成)相比，它们的自适应映射在执行时间和能耗方面表现得很好，但能更好地适应输入大小和硬件和软件配置的变化。有一研究提出了一种高效的映射技术，将通信与计算重叠，在由CPU和GPU组成的异构系统中支持应用图。此外，一些研究提出了异构系统中的调度技术，以提高用户级和操作系统内核级的性能和/或能源效率。另外，针对同构系统的基于DVFS的功耗感知调度技术也做了很多工作。在实时和嵌入式系统中，在DVFSenabled平台(包括单处理器和多处理器系统)上进行了大量的电能和节能调度工作。然而，这些之前的工作都没有针对由CPU和GPU组成的异构系统。

发明内容

本发明针对多CPU/GPU异构服务器工作时产生大量能耗这一问题，结合DVFS和DRS技术，提出了一种多CPU/GPU异构服务器集群的能耗控制方法，主要由任务类型判定和任务分配两部分组成。

任务类型判定主要指对提交到集群的任务进行分类判断。将该任务在CPU和GPU上执行时间的比值定义为H，若H1/H，则该任务为GPU型任务，否则为CPU型任务。在此基础上再进行细分，若H参数Δ(Δ在本方法的不同应用场景下会有所不同),则该任务为Only 型任务，否则为Prefer型任务。综上，任务会被分为4种类型，分别为：GPU-Only型、CPU-Only型、GPU-Prefer型以及CPU-Prefer型。