[发明专利]一种CPU与协处理器间的数据传输方法和装置

说明书

本发明提供了一种CPU与协处理器间的数据传输方法和装置，其中方法包括：根据CPU生成的N个线程并行对N个协处理器的数据传输进行控制，所述N为大于或等于2的整数；所述控制包括：协处理器接收CPU以切片形式发送的数据；或者，协处理器接收并存储CPU或上一协处理器发送来的当前时刻的数据切片的同时，发送已存储的上一时刻的数据切片至下一协处理器。本发明能够充分利用各个协处理器与CPU之间的总线，以及各个协处理器之间的总线，能够提高CPU将数据传送至多个协处理器时以及协处理器将数据传输至其余多个协处理器时的数据传输效率。

【技术领域】

本发明涉及处理器数据传输技术，尤其涉及一种CPU与协处理器间的数据传输方法和装置。

【背景技术】

如今，以GPU（图形处理器）为代表的协处理器已经具有越来越强大的计算能力，在众多需要高性能计算的领域，都会采用多协处理器与CPU合作的方式来执行计算任务，在这个过程中，经常需要CPU与协处理器以及多个协处理器之间的数据传输，数据传输的效率直接影响着计算任务的执行效率。

现有的数据传输方法中，数据从CPU传输至多个协处理器，或者一个协处理器将数据广播至多个协处理器时，数据的传输效率都非常低，主要体现在：

将一份数据从CPU传输至多个协处理器时，现有的方法通常是CPU依次和这多个协处理器进行数据传输，即每次CPU和一个协处理器传输完这份数据后，再和另一个协处理器进行数据传输，这样使得CPU和一个协处理器在传输数据时，其余协处理器的总线都处于空闲状态，总线利用率非常低。

协处理器将一份数据传输至其余多个协处理器时，现有的方法通常是协处理器先把数据发送至CPU内存，再从CPU的内存依次传输至另一个协处理器，或者，直接通过协处理器生产商提供的传输函数，依次将数据传输至其余多个协处理器，与上述CPU将一份数据传输至多个协处理器类似，这两种方法同样会导致未在传输数据的协处理器的总线处于空闲状态，总线利用率非常低。

如上所述的问题使得CPU与协处理器以及多个协处理器之间的数据传输效率很低，并且会直接降低整个系统的运算能力，例如在语音识别的训练过程中，需要通过多GPU配合CPU来进行计算，每个GPU都要有同一份训练数据，然而由于数据传输开销较大，会导致多GPU的训练速度甚至没有单GPU快。

【发明内容】

有鉴于此，本发明提供了一种CPU与协处理器间的数据传输方法和装置，能够提高CPU将数据传送至多个协处理器时以及协处理器将数据传输至其余多个协处理器时的数据传输效率。

具体技术方案如下：

一种CPU与协处理器间的数据传输方法，该方法包括：

根据CPU生成的N个线程并行对N个协处理器的数据传输进行控制，所述N为大于或等于2的整数；

所述控制包括：协处理器接收CPU以数据切片形式发送的数据；或者，协处理器接收并存储CPU或上一协处理器发送来的当前时刻的数据切片的同时，发送已存储的上一时刻的数据切片至下一协处理器。

根据本发明一优选实施例，当所述方法用于由CPU传输数据至N个目标协处理器时，所述CPU将数据以数据切片形式发送至其中一个目标协处理器，并通过对应的线程控制该目标协处理器接收并存储CPU发送来的当前时刻的数据切片的同时，发送已存储的上一时刻的数据切片至下一目标协处理器。

根据本发明一优选实施例，当所述方法用于由CPU传输数据至N个目标协处理器时，所述CPU将数据以数据切片形式发送至所述N个目标协处理器，并通过对应线程控制所述N个目标协处理器同时接收并存储CPU发送来的数据切片。