[发明专利]基于GPU的卷积神经网络批归一化处理方法

说明书

本发明提供了一种基于GPU的卷积神经网络批归一化处理方法，包括：获取训练数据集，训练数据集包括多个与多个训练通道一一对应的训练数据子集；判断训练数据子集的数据规模是否超过预定阈值。在训练数据子集的数据规模未超过预定阈值时，训练数据子集被分配并缓存至GPU的一个计算单元上，计算单元对分配到的训练数据子集进行批归一化；在训练数据子集的数据规模超过预定阈值时，训练数据子集被分配并缓存至所述GPU的至少两个计算单元上，至少两个计算单元对分配到的训练数据子集进行批归一化。本发明中，训练数据被缓存在GPU的计算单元的片上高速存储中，因此BN处理过程中，GPU无需再执行重复的数据读取过程，从而提升了BN的处理效率。

技术领域

本发明涉及大数据领域，具体而言，本申请涉及一种基于GPU的卷积神经网络批归一化处理方法。

背景技术

卷积神经网络模型在训练过程中，如果某些层的输入数据的数值分布不均匀，方差过大，将会导致训练过程中反向传播时低层梯度消失，影响训练速度。因此，在卷积神经网络的训练过程中，一般会将输入数据进行归一化处理，使数据变为均值为0，标准差为1的分布或者范围在0～1的分布。

批归一化(Batch Normalization，简称BN)是由Google于2015年提出的一个深度神经网络的训练技巧，其不仅可以加快模型的收敛速度，而且更重要的是在一定程度缓解了深层网络中“梯度弥散(特征分布较散)”的问题，从而使得训练深层网络模型更加容易和稳定。BN作为卷积神经网络的一层，一般被放在激活函数(如Relu)之前，其通过对输入数据进行处理，将数据处理为均值为0，方差为1的分布。

传统的BN处理，在进行模型训练的过程总共需要重复读取内存以获取输入数据，重复的访存极大地降低了BN的执行效率。

发明内容

为了解决上述技术问题中的至少一个，本发明提供了一种基于GPU的卷积神经网络批归一化处理方法，其具体技术方案如下：

一种基于GPU的卷积神经网络批归一化处理方法，所述卷积神经网络包括多个训练通道，所述GPU包括多个计算单元，所述批归一化处理方法包括：

获取输入的训练数据集，所述训练数据集包括多个与所述多个训练通道一一对应的训练数据子集；

判断所述训练数据子集的数据规模是否超过预定阈值；

在所述训练数据子集的数据规模未超过预定阈值时，所述训练数据子集被分配并缓存至所述GPU的一个计算单元上，所述计算单元对分配到的所述训练数据子集进行批归一化；

在所述训练数据子集的数据规模超过预定阈值时，所述训练数据子集被分配并缓存至所述GPU的至少两个计算单元上，所述至少两个计算单元对分配到的所述训练数据子集进行批归一化。

在一些实施例中，所述预定阈值与所述GPU的一个计算单元的片上高速存储的存储容量相匹配。

在一些实施例中，所述计算单元对分配到的所述训练数据子集进行批归一化包括：

根据公式计算所述训练数据子集的均值，其中，m为所述训练数据子集所包括的训练数据的数量，x_i为所述训练数据子集中的第i个训练数据；

根据公式计算所述训练数据子集的方差；

基于计算出的所述训练数据子集的均值和方差，根据公式实施对所述训练数据子集的归一化处理；

根据公式对经过归一化处理后的训练数据子集中的每个训练数据进行偏移操作，其中，γ、β为偏移参数。

在一些实施例中，所述至少两个计算单元对分配到的所述训练数据子集进行批归一化包括：

所述至少两个计算单元中的各所述计算单元分别计算出分配到的训练数据的局部和值及局部平方和值；