[发明专利]用于GPU的多任务调度方法

说明书

本发明公开了一种用于GPU的多任务调度方法，该方法包括：在每个时钟周期到来时，流式多处理器继续调度执行当前线程束；若所述当前线程束无法调度执行，则选择所有任务中可被选择的优先级最高的任务组成任务集合；从所述任务集合中选择被调度执行次数最少的一个任务；调度执行选择的所述一个任务中年龄最老的线程束。本发明的用于GPU的多任务调度方法通过优先调度同一个线程束进行执行，当该线程束阻塞时，根据任务的优先级顺序调度执行具有更高优先级的任务，且针对具有相同优先级的不同任务，调度执行被调度执行次数较少的任务，既能够考虑高优先级任务的调度优先性，又能够考虑同一优先级任务间的调度公平性，且还能够较好地掩盖任务的访存延迟。

技术领域

本发明涉及GPU技术领域，具体涉及一种用于GPU的多任务调度方法。

背景技术

图形处理器(Graphics Processing Unit，GPU)是一种用于做图像和图形相关运算工作的微处理器，GPU因其强大的计算能力在云计算平台和数据中心被广泛应用，为用户提供所需要的计算。与只在GPU上运行一个任务的单任务GPU相比，多任务GPU可以在GPU上同时运行多个任务，能够有效提高资源的利用率。具体地，多任务GPU可以在一个GPU上同时运行计算密集型和存储密集型程序，GPU上的计算资源和存储资源可以同时得到充分的利用。

目前有两种方式可以支持GPU同时运行多个任务，第一种方式为空间多任务(spatial multitasking)，第二种方式为同时多任务(simultaneous multitasking)。具体地，GPU上有很多SM处理器(Streaming Multiprocessor，流式多处理器)，这些SM处理器可以被分为若干组，在空间多任务方式中，GPU上同时运行的每个任务可以使用其中的一组SM处理器，即多个任务同时运行在不同的SM处理器上；在同时多任务方式中，一个SM处理器上的资源分成若干份，每个任务使用其中的一份资源，即多个任务同时运行在同一个SM上。相比于空间多任务方式，同时多任务以一种更细粒度的方式支持GPU上多任务的实现，具有更好的资源利用率和更高的性能，应用范围更广。

当任务在GPU的SM处理器上运行的时候，每个任务被划分为若干个线程块(threadblock)，根据SM处理器上为该任务所分配的硬件资源的大小，一个或几个线程块被调度到SM处理器上执行。其中，每个线程块中包含很多线程(thread)，这些线程又能够被组织成线程束(warp)，每个线程束包含32个线程，SM处理器中的warp调度器在每一个时钟周期到来时都会在当前SM处理器上的所有线程束中选择一个准备就绪的线程束进行执行。

当前GPU上主流的线程束调度算法有LRR(Loosely Round Robin)调度算法和GTO(Greedy Then Oldest)调度算法。其中，LRR调度算法能够平等对待当前SM处理器上的线程束，在每个时钟周期到来时以一种轮转的方式在所有线程束中依次选择一个线程束进行执行，如果当前线程束因为数据依赖等原因没有准备就绪时，即当前线程束无法执行时，则会按照轮转的方式继续选择下一个线程束执行。GTO调度算法会优先选择当前的线程束进行执行，即执行序列一直为当前线程束，直至该线程束因为数据依赖等原因无法执行时，GTO调度算法才会选择当前SM处理器上最老的线程束进行执行，SM处理器上每个线程束的年龄由该线程束所属的线程块调度到SM处理器上的时间所决定，即如果一个线程块相对于其它线程块较早被调度到SM处理器上执行，则该线程块中的线程束的年龄最老。