[发明专利]一种通用图形处理器多任务并发执行的任务派发方法

说明书

技术领域

本发明属于高性能计算技术领域，涉及高性能计算中多任务并发执行方法，尤其涉及一 种通用图形处理器(GPGPU)多任务并发执行的任务派发方法。

背景技术

通用图形处理器(GPGPU)是一种利用图形处理器众核结构、多线程和高访存带宽的特 点来处理生物计算、图像处理和物理仿真模拟等高性能计算任务的处理器。在现代计算中， 计算任务对高性能和高吞吐率的迫切需求，使通用图形处理器在计算领域中被广泛利用并且 扮演着越来越重要的角色。而且，随着云计算的发展以及计算终端的普及，越来越多的任务 被同时发送到通用图形处理器中等待执行。因此，通用图形处理器中的多任务并发执行技术， 对于高效利用计算资源以及提升计算速度和能效性具有重要影响。

中央处理器(CPU)将计算任务分配给通用图形处理器，然后，计算任务以核函数(Kernel) 的形式在通用图形处理器中执行。当核函数被发射到通用图形处理器时，核函数会产生一个 称为计算网格(Grid)的计算任务实例。一个计算网格包含成百上千的线程(Thread)。这些 线程通过层次化的方式被组织管理。每32个线程组成一个线程束(Warp)，若干个线程束进 一步被组织成一个线程块(Block)。一个计算网格中线程块的数目和每个线程块中线程的数 目，由程序员编程时指定。

硬件上，每个通用图形处理器由多个流多处理器(StreamingMultiprocessor，SM)组成， 这些流多处理器通过互连网络与片外存储资源相连。每个流多处理器中包含3种存储资源： 寄存器堆(RegisterFile)、一级缓存(L1Cache)和共享存储器(SharedMemory)；以及3种 单指令流多数据流(SIMD)的执行单元：流处理器(StreamingProcessor，SP)、特殊功能 单元(SpecialFunctionUnit，SFU)和装载储存单元(Load/StoreUnit，LDST)。通用图形 处理器拥有一个线程块派发引擎，负责将核函数的线程块派发到流多处理器中。每个流多处 理器中有若干个线程束调度器，来调度管理线程束的执行。

不同的核函数对于计算资源需求存在着明显的差异。例如，一个核函数属于计算密集型， 对流多处理器需求高，但不能充分利用通用处理器高的访存带宽；另一个核函数属于访存密 集型，对于存储资源需求高，但不能充分利用流多处理器的计算能力。因此，执行单个核函 数时，通用图形处理器的计算资源往往不能被充分利用。可采用多任务并发执行提高资源利 用率。

2012年，美国威斯康星大学麦迪逊分校(UniversityofWisconsin-Madison)的Adriaens等人 提出一种空间多任务并发管理方案(Publishedon：HighPerformanceComputerArchitecture (HPCA),2012IEEE18thInternationalSymposiumon，Pages1-12)。该方案通过将这些流多处 理器进行空间上的划分，分配给不同的核函数，来平衡不同核函数对流多处理器和片外存储 资源的不均衡需求。该方法是一种粗粒度的并发技术，虽然能平衡流多处理器与片外存储资 源的利用，然而，一个流多处理器内部较低的计算资源利用率仍然是一个很严重的问题。

2014年，韩国科学技术院(KoreaAdvancedInstituteofScienceandTechnology，KAIST) 的Lee等人针对一个流多处理器内部计算资源利用率低的问题，提出了一种混合并发核函数 执行方案(Publishedon:HighPerformanceComputerArchitecture(HPCA),2014IEEE20th InternationalSymposiumon，Pages260-271)。该方案提出不同的核函数可以同时发射到一个 流多处理器上，从而提高流多处理器内部计算资源的利用率。但是，该方案没有具体处理流 多处理器内部不同核函数线程块的调度问题，也没有提出针对一级数据缓存污染的优化方案。

发明内容

为了克服上述现有技术的不足，本发明提供一种通用图形处理器多任务并发执行的任务 派发方法，包括线程块派发引擎方法和一级数据缓存旁路方法，可以高效利用流多处理器内 部的计算资源。

本发明提供的技术方案是：