[发明专利]一种基于GPU空间资源共享的任务调度方法

权利要求书

1.一种基于GPU空间资源共享的评估方法，其特征在于，包括以下步骤：

获取GPU的当前工作状态，预处理后得到支持GPU任务抢占和空间资源共享的GPU工作模式；

对GPU的运行状态进行预处理，在不访问GPU驱动程序代码的情况下，采用持久线程编程模式，在源代码或汇编代码级别支持GPU任务抢占和空间资源共享，具体为：

每个任务对象在一个流处理器上同时执行一个线程块，当一个任务对象完成了它的线程块，通过预设函数得到下一个要执行的线程块，直到任务的所有线程块都正常完成，通过预设的任务对象的数量来控制每个GPU任务的流处理器资源使用；

采用马尔可夫链计算当前流处理器的状态，得到马尔可夫链的稳定状态向量；

根据稳定状态向量，得到任务在运行期间处于计算状态的概率；

在资源共享模式下，根据任务在运行期间处于计算状态的概率，得到在每个流处理器上分配预设个数的线程块时，每个时钟周期执行的指令数；

将所有可能的资源分配方案下并行执行任务时，每个时钟周期执行的指令数作为评估结果输出并存储，用于运行时做出资源分配决策；

稳定状态向量π＝{γ₀,γ₁,…,γ_wk}，其中γ_i代表在每个调度循环中任务k的SM中有i个不活跃线程块的状态的概率；

通过π计算出当任务使用如下i个线程块时的计算时间的比例；

GPU在一次轮询中执行w_k-i个时钟周期的概率为γ_i，在i＝w_k的情况下，时钟周期为1，表示没有活动线程块，SM处于空闲循环；是GPU在一个轮询中平均可以执行的时钟周期数，γ_wk是调度轮中的空闲时钟周期数，是一次轮询中平均可以执行的时钟周期总数；表示任务k在运行期间处于计算状态而不是等待内存访问的概率；在资源共享模式下，计算在每个SM上分配w_k个线程块时的IPC、任务k的每个时钟周期执行的指令数

表示两个任务处于不同状态的概率；两个任务处于相同状态的概率是是测量得到的每个任务在w_k线程块单独执行最坏情况下的每个时钟周期执行的指令数IPC；性能评估器将所有可能的资源分配方案下的并行执行任务的IPCs输出为一个表，运行时调度器将搜索该表以做出资源分配决策。

2.如权利要求1所述的基于GPU空间资源共享的评估方法，其特征在于，当一个高优先级的任务需要更多的资源来满足它的截止时间时，通过减少任务对象的数量的方式实现；

或者，当需要在任务执行完成之前停止此任务时，接收停止信号，在当前线程块结束执行后，所有的任务对象停止时，调用回调函数返回到CPU端；

或者，

如果需要增加分配给当前正在运行的任务的资源，首先通过设置停止信号来停止这个任务，然后为任务增加任务对象的数量并重新启动此任务。

3.一种基于GPU空间资源共享的任务调度方法，其特征在于，包括以下步骤：

启动一个新的任务，如果没有正在运行的任务，新任务将以独占模式启动；

如果当前正在执行第一任务，根据性能模型和截止时间动态调整第一任务和新任务的资源使用；

根据权利要求1-2所述的基于GPU空间资源共享的评估方法输出的每个时钟周期执行的指令数分派新任务。

4.如权利要求3所述的基于GPU空间资源共享的任务调度方法，其特征在于，当有第一任务和第二任务在GPU上运行时，其中第二任务被新任务抢占，剩余未分配的第二任务的线程块重新插入就绪队列，第一任务和新任务在空间资源共享模式下并行执行；

如果第一任务和第二任务的优先级都高于新任务，则将新任务插入就绪队列中的适当位置。

5.如权利要求3所述的基于GPU空间资源共享的任务调度方法，其特征在于，当任务完成时，如果仍然有一个正在运行的第三任务，按照最早的截止时间将就绪的新任务从队列中取出，并在资源共享模式下对第三任务进行分配；

否则，根据等待队列中就绪任务的数量，分派具有最小截止日期的1个或2个任务。