[发明专利]一种基于两层虚拟机的并行作业调度的方法

说明书

技术领域

本发明涉及计算机领域，具体涉及一种基于两层虚拟机的并行作业调度的方法。

背景技术

一直以来，较低的计算资源利用率是商业数据中心所面临的一个难题。一个商业数据中心服务器的使用率通常在10%到50%左右。如果一个商业数据中心被用于运行高性能并行程序，计算资源的使用率将更低，分析其原因，主要是在于下面两个现象：

1、处理器碎片：一个并行作业通常需要若干个处理器来支撑运行，即使等待队列中有作业需要处理，但因为这些空闲处理器的数量不能满足由调度方法对指定的作业的处理器需求，导致这部分处理器依然保持空闲；

2、空闲CPU时钟周期：即使一个处理器被某个作业占据，由于并行程序本身进程间的通信/同步，该处理器的使用率依然无法达到100%，例如，采用BSP编程模型的并行程序。

较低的计算资源使用率提高了运行高性能程序的成本，同时降低了支撑高性能计算程序的数据中心的利润。如何合理分配计算资源以平衡高性能计算程序的性能和计算资源的使用率是提供高性能计算资源的数据中心需要考虑的基本问题。

在高性能计算领域，研究者们针对并行作业的调度做了很多努力。“先到先服务(FCFS，first come first served)”是最基本的同时也是广泛应用的调度方法。由美国阿贡国家实验室开发的“回填(EASY Backfilling)”算法在不推迟等待队列中头作业执行的条件下，允许短/小作业使用当前空闲处理器。虽然“回填”算法能够在很大程度上减少处理器碎片的数量，但它并没有考虑利用并行程序本身带来CPU时钟浪费。

Gang调度方法允许多个并行作业同时共享计算资源。在Gang调度方法中，每个处理器被划分为几个时间片，进程被安排到某处理器的某时间片上。一个并行作业的所有进程安排到同一层次的时间片上，CPU循环分配到各层时间片上。这种时间分片需要操作系统的强力支持。“pair-gang”调度方法考虑如何部署计算资源需求互补的进程到一个处理器上，比如某进程执行I/O操作时，其配对进程则使用CPU，类似的策略也应用在云计算资源加固中。Gang调度可以在一定程度上提高计算资源的利用率，但是它拉长了单个作业的执行时间。现在也有综合“回填”算法和Gang调度方法的一些尝试，但这种尝试仅仅提高了比较少的性能提高。

不管是“回填”算法还是Gang调度方法都仅仅考虑了如何减少处理器碎片的数量，他们都没有考虑到并行程序本身带来的CPU时钟周期浪费现象。不管是国内还是国外，并行作业调度方法都没有超出“一个处理器（核）承担一个进程”的范畴。

综合国内外研究现状，并行作业调度方法在进一步提高计算资源利用率方面存在很大的不足，尤其是在多核处理器机虚拟化技术高度成熟的时代。“一个处理器（核）承担一个进程”模式导致了较大的计算资源浪费。

 

发明内容

为了克服上述问题，本发明提出了一种基于两层虚拟机的作业调度方法，其利用CPU使用优先级差别的处理器虚拟分割方法，引入了作业尝试运行手段让部分作业尝试运行以提高计算资源利用率，在保证调度公平性的同时提高处理器的使用率。

本发明提出的一种基于两层虚拟机的作业调度方法，其特征在于，把所具有的多个处理器的每一个处理器分别分成前景虚拟机和背景虚拟机，所述前景虚拟机的CPU权限设置为最高优先级，所述背景虚拟机的CPU权限设置为最低优先级，所述方法包括：

（1）当一个新作业到达时，执行：

步骤1，将新到达的作业放到等待队列的末尾，

步骤2，调用前景层作业调度算法将所有能安排到前景虚拟机的作业部署到前景虚拟机，

步骤3，调用背景层作业调度算法将所有能安排到背景虚拟机的作业部署到背景虚拟机；

（2）当一个前景作业离开时，仅执行上述步骤2和3；

（3）当一个背景作业离开时，直接执行步骤3；

其中所述前景层作业调度算法基于先到先服务的回填算法，并同时考虑在所述等待队列和正在背景虚拟机中运行的作业；所述背景层作业调度算法基于最短作业优先算法。

进一步，所述把所具有的多个处理器的每一个处理器分别分成前景虚拟机和背景虚拟机具体为直接对CPU进行逻辑划分或者采用硬件虚拟化技术进行划分。