[发明专利]一种基于短作业优先的优化GPU性能的方法及系统

说明书

本发明涉及一种基于短作业优先的优化GPU性能的方法及系统，本发明通过首先对与要执行的函数，通过预处理，获取它们的执行时间，按照预执行时间递增对这些线程进行排序，提高系统响应时间。同时在线程队列中加入算子，在有新线程加入时，利用算子对线程队列进行重新排序，避免出现预执行时间长线程长期得不到响应问题。本发明的目的是使得在相同时间内，完成的作业次数最多，从而优化系统性能。与其他的GPU优化性能方法相比，本发明在提高系统吞吐量方面有明显的优势，本发明避免了长作业长时间得不到响应的问题，通过设置算子，可以提升长作业执行的顺序位置。

技术领域

本发明属于GPU线程调度领域，特别涉及一种基于短作业优先的优化GPU性能的方法及系统。

背景技术

随着科技的进步，技术的发展，CPU作为计算机的处理核心，其主要功能在于控制逻辑运算、任务调度，而非大量数据的处理，而GPU最开始作为图形处理程序，功能单一，控制逻辑简单，芯片资源主要用于提升计算能力。近几年逐步发展，GPU在其他非图形处理方面显示出惊人的能力，例如人工智能，大数据分析等等，计算能力被不断地挖掘，也在不断的提升。GPU以其强大的计算能力和日益完善的软件环境吸引了众多来自非图形计算领域的学者的关注，在高性能计算、桌面计算甚至嵌入式计算领域都得到了广泛的应用。

随着GPU越来越通用，越来越多的应用程序需要GPU提供计算能力。然而，非图形应用程序对GPU的优化程度较低，从而导致芯片内资源的利用不足。新一代GPU体系架构表明，其集成的计算资源越来越多，遗憾的是，由于资源的利用率较低，GPU强大的计算能力并没有完全显现出来，同时由于GPU缺乏适当的体系架构来支持共享，需要软件或者硬件或者软硬件结合的方法，来使用其计算资源，由于当中的复杂性，目前的一些方法还是不能显示出GPU强大的能力。因此有关GPU性能优化的研究也得到了学术界和业界的持续关注。

大数据时代的到来使得计算任务加重，面对不同应用的不同资源需求，GPU的资源单核未充分利用。目前主要的调度算法有先到先服务(FCFS)算法、轮询(RR)算法、优先级调度(PSA)算法和最短作业优先(SJF)算法。为了解决GPU资源利用率不足的问题，提出了并发内核执行(CKE)来支持在GPU上并发运行多个内核。线程级并行性是一个很好的解决方向，但是大量并发线程会导致严重的带宽问题，甚至导致内存争用以及堵塞，而无法及时处理的内存请求有可能会导致流水线暂停，以致降低整体性能。多道程序设计也是为了让更多的应用在GPU内核上执行，提高作业处理速度以及效率，从而提高性能，但是多个应用在GPU中同一个SM上执行，有可能会进入死锁的状态，降低性能。针对GPU优化性能的方法可以分为以下几种：(1)通过对GPU片上资源的管理提高性能；(2)GPU多道程序设计；(3)缓存调度。

1.对GPU片上资源的管理

在CPU中，通过控制每个线程的空中指令数，可以很容易地调整物理寄存器和缓存的比例。然而，在GPU中，这种动态控制不可用，因为每个CTA一次获取其所有资源。一旦将CTA分配给SM，则必须静态分配寄存器文件和共享内存，并且在完成CTA之前不能释放。

在GPU的每个SM中，计算资源包括ALU(算术逻辑单元)、SFU(特殊函数单元)以及寄存器，片上内存资源包括只读纹理缓存和常量缓存、L1数据缓存(D-cache)和共享内存。因此，在GPU中，分配时间资源调度更为重要，更关注的是寄存器文件和共享内存分区，而不是缓存。通过对GPU片上资源的管理，更好的为所执行的kernel分配合理的资源。此外，由于GPU的一级缓存由数千个线程共享，因此GPU具有更小的一级缓存，命中率更低。

2.GPU上的多道程序设计