[发明专利]一种自学习运行时间预测模型的GPU/CPU调度方法及系统

说明书

本发明提出一种自学习运行时间预测模型的GPU/CPU调度方法，涉及大规模异构计算、云计算技术领域，该方法包括对源代码进行预处理，生成与源代码对应的运行状态标识符和程序运行所需要的参数，并存储在XML文件中；设置预测函数，根据运行状态标识符返回的在某个阶段程序的运行时间和本阶段设置的参数，计算预测函数回归参数θ并存储在XML文件中；当程序被再次调用时，查找与其相对应的XML文件，计算新归一化参数，将新归一化参数代入预测函数，获取程序本次运行的运行时间预测值，获取程序重新分配到另一个节点所需要的消耗时间，若新分配的消耗时间低于运行时间预测值，则将程序分配给CPU节点。

技术领域

本发明涉及大规模异构计算、云计算技术领域，特别涉及一种自学习运行时间预测模型的GPU/CPU调度方法及系统。

背景技术

随着GPGPU(通用计算图形处理器单元)技术的发展和普及，越来越多的计算集群中使用GPU(图形处理器单元)和CPU(中央处理器单元)进行异构并行计算，解决大规模计算问题，GPU和CPU各有优势，GPU拥有更多的算术计算单元，有更强的浮点数计算能力，更适合大规模的并行计算，而CPU有更多的控制单元，更适合指令的调度和分支处理。

现有技术或将CPU和GPU统一成一个整体加载到计算集群中，制作成一种CPU和GPU的混合并行计算方法及装置，在被调度有待处理任务的计算节点中,CPU对调度的待处理任务逐个进行预处理,并在每预处理完一个任务后将预处理之后的任务映射到GPU的显存中；或根据数据流程序各个任务的计算特点以及任务之间的数据通信量大小，将各个任务分配到合适的计算平台上。然而，在某些类型的任务，如图像、视频处理任务中，任务较为统一，重复性强，每次任务的区别在于参与运算的数据和参数的不同，同时，由于GPU比较适合规模较大的并行化任务，并行度小的任务和串行任务反而适合在CPU中处理，由于GPU设备安装在PCI-E接口上，所以具有GPU的设备，可以独立的运行GPU和CPU任务，而如果一个GPU任务中有仅使用CPU的任务片段，在这个片段中GPU会被空闲。

对于同时具有CPU任务片段和GPU任务片段的，具有高度重复性的数据处理任务，怎样进行任务调度的关键在于正确预测各个任务子片段所需要的处理时间和数据量的大小，决定任务是否迁移到其他节点，现有技术大部分不会对处理时间进行预测，这样会使任务在盲目的排队等待，反而由于CPU串行任务的系统占用，使得GPU资源处于空闲状态，解决该项缺陷可以通过预测任务在GPU和CPU中运行的时间，在适合长时间CPU执行任务的时候，将任务打包至只有CPU的计算节点中，GPU则可以执行下一个计算任务，从而减少系统整体硬件空闲，提高计算效率。

发明内容

针对现有技术的不足，本发明提出一种自学习运行时间预测模型的GPU/CPU调度方法及系统。本发明的一种自学习运行时间预测模型的GPU/CPU调度方法，包括：

步骤1，对源代码进行预处理，生成与源代码对应的运行状态标识符和程序运行所需要的参数，并存储在XML文件中；

步骤2，设置预测函数，根据运行状态标识符返回的在某个阶段程序的运行时间和本阶段设置的参数，计算预测函数回归参数θ并存储在XML文件中；

步骤3，当程序被再次调用时，查找与其相对应的XML文件，计算归一化参数，将归一化参数代入预测函数，获取程序本次运行的运行时间预测值，获取程序重新分配到另一个节点所需要的消耗时间，若新分配的消耗时间低于运行时间预测值，则将程序分配给CPU节点。

上述的自学习运行时间预测模型的GPU/CPU调度方法，其中，所述步骤1中源代码进行预处理包括在进行GPU与CPU内存交换时，产生相应信号，包括拷贝至GPU内存的信号与拷贝至CPU内存的信号。

上述的自学习运行时间预测模型的GPU/CPU调度方法，其中，所述步骤3通过以下公式生成归一化参数：