[发明专利]一种面向GPU的数据流处理方法

摘要

本发明公开了一种面向GPU的数据流处理方法，首先，在CPU和GPU组成的异构并行系统中运行待处理的数据密集型计算模块，得到拷入时间Ti、计算时间Tc、拷回时间To；然后，根据三部分运行时间计算如下比例关系：a＝Tc/Ti，b＝Tc/To；最后，根据所总结出的将初始数据在划分为n个流时各数据流之间大小的比例：1∶a∶a2∶…∶ai-1∶ai-1/b∶ai-1/b2∶…∶ai-1/bn-i，结合初始数据的总量确定各数据流的大小，将它们分批交给GPU去执行。本发明在尽量避免系统资源浪费的基础上，更有效地重叠了通信与计算的时间，进而更大程度地缩短整个应用问题的处理时间。

主权项

一种面向GPU的数据流处理方法，其特征在于，包括下述步骤：(1)使用CPU和GPU组成的异构并行系统执行如下操作：将待处理的初始数据从主机内存拷贝到GPU，GPU对数据进行计算，计算结果从GPU拷贝回主机内存，运行时间分别为拷入时间Ti、计算时间Tc、拷回时间To，其中：Tc＞Ti+To；(2)根据步骤(1)中所得到的拷入时间Ti、计算时间Tc、拷回时间To计算如下比例：a＝Tc/Ti，b＝Tc/To；根据该比例将原初始数据向左右两侧划分，采用数据流的规模向两侧逐渐减小的方式，设一共划分为n个数据流，n≥3，第i个数据流的规模最大，则n个数据流大小的比例为1∶a∶a2∶…∶ai‑1∶(ai‑1/b)∶(ai‑1/b2)∶…∶(ai‑1/bn‑i)，从而使得：前i‑1个数据流中各数据流的计算时间刚好可以隐藏其后一个数据流的拷入时间，而后n‑i个数据流中各数据流的计算时间刚好可以隐藏其前一个数据流的拷回时间；(3)向左侧划分数据直至出现下面的情况之一为止：第1个数据流的传输不能充分利用系统的传输资源，或者第1个数据流的计算不能充分利用系统的计算资源；向右侧划分数据直至出现下面的情况之一为止：第n个数据流的传输不能充分利用系统的传输资源，或者第n个数据流的计算不能充分利用系统的计算资源；其中：所述的不能充分利用系统的传输资源是指，CPU和GPU间数据的传输依赖于PCIE总线，数据的传输所利用的总线带宽如果没有达到PCIE总线可以实际提供的最高带宽，即为数据流的传输不能充分利用系统的传输资源；所述的不能充分利用系统的计算资源是指，GPU片内拥有着数以百计的计算核心，数据的计算如果没有把这些计算核心全部利用起来，即为数据流的计算不能充分利用系统的计算资源。