[发明专利]一种通用图形处理器多任务并发执行的任务派发方法

摘要

本发明公布了一种通用图形处理器多任务并发执行的任务派发方法，通过线程块派发引擎方法首先将核函数进行分类，然后根据核函数分类计算得到向一个流处理器分别派发的核函数的线程块数目，将不同核函数相应数目的线程块派发到同一个流多处理器中，以达到提高通用图形处理器中每个流多处理器资源的利用率，提升系统性能和能效比的目的。本发明还可进一步利用一种一级数据缓存旁路方法，该方法首先通过动态方法来确定旁路哪一个核函数的线程块，根据相应核函数的旁路的线程块的数目进行旁路，以达到减轻一级数据缓存的压力、进一步提高性能的目的。

主权项

一种通用图形处理器多任务并发执行的任务派发方法，通过线程块派发引擎方法首先将核函数进行分类，然后根据核函数分类计算得到向一个流处理器分别派发的核函数的线程块数目，将不同核函数相应数目的线程块派发到同一个流多处理器中，以达到提高通用图形处理器中每个流多处理器资源的利用率，提升系统性能和能效比的目的；所述线程块派发引擎方法包括如下步骤：A1)将核函数进行分类，核函数的种类包括Type Down、Type Up和Type Optimal；所述核函数进行分类，具体通过每个核函数单独运行时性能最佳的线程块数目opt(Kernel)与一个流多处理器最多可以容纳的来自核函数的线程块数目max(Kernel)的大小关系，对核函数进行分类，分类过程执行操作A11)～A13)：A11)单独执行每个核函数Kernel多次，每次向流多处理器中派发不同数目的线程块，得到相应的执行时间；A12)将A11)中执行时间最短时每个流多处理器上的线程块数目定义为opt(Kernel)；A13)当A12)中opt(Kernel)等于1时，该核函数Kernel的分类为Type Down；当opt(Kernel)等于max(Kernel)时，该核函数分类为Type Up，所述max(Kernel)是一个流多处理器最多可以容纳的来自核函数的线程块数目；当opt(Kernel)不等于1且opt(Kernel)不等于max(Kernel)时，该核函数分类为Type Optimal；A2)针对多个核函数的线程块，将所述核函数看作一个任务池，先从这些核函数中选择两个核函数作为核函数{A,B}，设定Tb_A和Tb_B分别表示线程块派发引擎向一个流处理器中分别派发的核函数A和核函数B的线程块数目，根据A1)分类得到的核函数的种类信息，计算得到Tb_A和Tb_B；A21)对于两个并发执行的核函数组合{A,B}，两个核函数A、B的类型分别设为Type_A和Type_B，当两个核函数Type_A和Type_B都属于Type Up类型时，结束操作；当所述Type_A和Type_B中至少有一个核函数的类型属于Type Down或者Type Optimal时，继续执行如下操作；A22)根据核函数A、B的类型Type_A和Type_B，分别计算得到Tb_A和Tb_B；A3)根据Tb_A和Tb_B，向通用图形处理器(GPGPU)的一个流处理器中分别派发相应数目的核函数A和核函数B的线程块；A4)循环执行上述A3)，当其中有核函数的剩余线程块数目小于向流处理器派发的相应线程块数目时，向流多处理器派发该核函数所有剩余线程块数目，该核函数的剩余线程块数目为0，该核函数执行完成；此时从两个核函数{A,B}的并发执行变为一个核函数的单独执行；当任务池中的核函数数目为0时，执行步骤A5)；当任务池中的核函数数目不为0时，从任务池中选择一个与所述未完成的核函数重新组合成{A,B}，继续按照上述步骤A2～A4进行线程块派发；A5)在一个核函数Kernel单独执行期间，向流多处理器中派发该核函数的线程块数目为opt(Kernel)，当核函数的剩余线程块数目小于opt(Kernel)时，向流多处理器派发该核函数的所有剩余线程块数目；直到该核函数执行完成。