[发明专利]基于GPU的计算二值神经网络卷积的方法及装置

说明书

本发明实施例提供了一种基于GPU的计算二值神经网络卷积的处理方法，包括：获取根据二值神经网络执行卷积操作的计算请求；根据所述计算请求，开启GPU上的至少一个线程块，其中，每个线程块包括多个线程；基于两级分块策略，确定所述至少一个线程块中每个线程块的计算区域范围，并确定每个线程块所包括的线程的计算区域范围；所述至少一个线程块中的每个线程块内的各个线程执行计算过程，得到计算结果；根据每个线程块内的各个线程得到的所述计算结果，确定相应的线程块的输出结果。本发明设计了基于GPU线程块的两级分块策略，充分利用了GPU的访存特性，从而能够在GPU设备上实现二值神经网络卷积计算，并且计算速度得到了提升，内存消耗得到了减少。

技术领域

本发明涉及计算机视觉领域，更具体地涉及一种基于GPU的计算二值神经网络卷积的方法及装置。

背景技术

深度学习(Deep Learning)的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。在计算机视觉及相关领域，新兴的深度学习方法相比过去传统方法有了长足的进步。

卷积神经网络(Convolutional neural networks，简称CNNs)是一种深度的监督学习下的机器学习模型，是深度学习的核心操作，它将卷积核(Kernel)与原图像输入进行卷积操作得到输出。一般而言，卷积操作是一个深度学习模型中计算量最大、也是内存开销最多的部分，例如目前的CNN中卷积操作会占用70％以上的计算时间，因此优化卷积操作是很有必要的。为解决卷积计算量大、内存开销多的问题，二值神经网络(Binary NeuralNetwork，简称BNN)能够将卷积中32比特(bit)浮点数存储改为1bit二值存储，并将浮点计算替换成整数位运算，例如将浮点数乘法映射为按位的同或(XNOR)操作。然而，二值神经网络如何在图形处理单元(Graphics Processing Unit，简称GPU)设备上实现卷积的计算是急需解决的技术瓶颈。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种基于GPU的计算二值神经网络卷积的方法，使得二值神经网络卷积的计算能够在GPU上实现，且能够实现计算速度的提升。

根据本发明一方面，提供了一种基于GPU的计算二值神经网络卷积的方法，包括：

获取根据二值神经网络执行卷积操作的计算请求；

根据所述计算请求，开启GPU上的至少一个线程块，其中，每个线程块包括多个线程；

基于两级分块策略，确定所述至少一个线程块中每个线程块的计算区域范围，并确定每个线程块所包括的线程的计算区域范围；

所述至少一个线程块中的每个线程块内的各个线程执行计算过程，得到计算结果；

根据每个线程块内的各个线程得到的所述计算结果，确定相应的线程块的输出结果。

示例性地，被执行卷积操作的输入数据的物理数据布局为：所述输入数据在通道数维度分为多组，每组包括连续的b位，同一组中的位在物理存储空间上是连续的，相邻的组在所述物理存储空间上是不相邻的；其中b与所述GPU的显存位宽一致。

示例性地，所述计算过程包括：使用异或操作模拟XNOR操作的行为对所述输入数据进行计算，并使用popcount指令计算异或操作得到的结果中为1的位的数量，作为所述计算结果。

示例性地，所述根据每个线程块内的各个线程得到的所述计算结果，确定相应的线程块的输出结果包括：

利用投票函数对每个线程块内的各个线程得到的所述计算结果进行统计，如果所述计算结果中为1的位的数量大于为0的位的数量，则确定所述线程对应的判定结果为正，否则所述线程对应的判定结果为负；