[发明专利]一种单机多GPU通信的方法及装置

权利要求书

1.一种单机多GPU通信的方法，其特征在于，所述方法包括：

对全部GPU进行检测，确定GPU直连关系数据；

根据数据广播确定预定通信数据及需要进行通信的GPU，并将需要进行通信的GPU中包含所述预定通信数据的GPU划分为第一集合，不包含所述预定通信数据的GPU划分为第二集合；

所述第一集合中的GPU根据所述GPU直连关系数据向所述第二集合中与其具有直连关系的GPU传输所述预定通信数据，在完成数据传输后，将所述第二集合中具有所述预定通信数据的GPU移动到所述第一集合中，循环执行直到所述第二集合为空或者所述第二集合中存在与所述第一集合中GPU不存在直连关系的剩余GPU为止；

当所述第二集合中存在所述剩余GPU时，CPU向所述剩余GPU传输所述预定通信数据。

2.根据权利要求1所述的方法，其特征在于，对全部GPU进行检测，确定GPU直连关系数据，包括：

利用双重循环遍历所有2块GPU的组合，得到任意2个GPU间是否存在直连关系的数据表。

3.根据权利要求2所述的方法，其特征在于，具有直连关系的两个GPU之间通过GPUDirect技术进行数据传输。

4.根据权利要求3所述的方法，其特征在于，CPU向所述剩余GPU传输所述预定通信数据，包括：

在timestep时所述第一集合中的预定GPU将所述预定通信数据传输到CPU的内存，并从所述内存中将所述预定通信数据传输到所述剩余GPU内。

5.一种单机多GPU通信的装置，其特征在于，包括：

直连关系检测模块，用于对全部GPU进行检测，确定GPU直连关系数据；

集合划分模块，用于根据数据广播确定预定通信数据及需要进行通信的GPU，并将需要进行通信的GPU中包含所述预定通信数据的GPU划分为第一集合，不包含所述预定通信数据的GPU划分为第二集合；

直连数据传输模块，用于所述第一集合中的GPU根据所述GPU直连关系数据向所述第二集合中与其具有直连关系的GPU传输所述预定通信数据，在完成数据传输后，所述第二集合中具有所述预定通信数据的GPU将移动到所述第一集合中，循环执行直到所述第二集合为空或者所述第二集合中存在与所述第一集合中GPU不存在直连关系的剩余GPU为止；

CPU数据传输模块，用于当所述第二集合中存在所述剩余GPU时，CPU向所述剩余GPU传输所述预定通信数据。

6.根据权利要求5所述的装置，其特征在于，所述直连关系检测模块具体为利用双重循环遍历所有2块GPU的组合，得到任意2个GPU间是否存在直连关系的数据表的模块。

7.根据权利要求6所述的装置，其特征在于，直连数据传输模块包括：

直连数据传输单元，用于所述第一集合中的GPU根据所述GPU直连关系数据向所述第二集合中与其具有直连关系的GPU通过GPU Direct技术传输所述预定通信数据。

8.根据权利要求7所述的装置，其特征在于，CPU数据传输模块具体为当所述第二集合中存在所述剩余GPU且在timestep时，所述第一集合中的预定GPU将所述预定通信数据传输到CPU的内存，并从所述内存中将所述预定通信数据传输到所述剩余GPU内的模块。