[发明专利]一种CNN模型及其训练方法、终端、计算机可读存储介质

说明书

本发明公开了一种CNN模型及其训练方法、终端、计算机可读存储介质，属于CNN模型训练领域，要解决的问题为如何在保证模型训练性能的前提下分批量的实现对大批量样本的分析。其方法包括：在每个批量归一化层和与其相邻的上一个网络层之间插入一个同步层，输入层和与其相邻的同步层之间的所有网络层、以及任意相邻的两个同步层之间的所有网络层分别为一段单独的网络层单元；对于上述所有的网络层单元通过数据分批次的方式逐段进行前向传播。该CNN模型为线性结构，且为上述训练方法训练得到的模型。终端中处理器被配置用于调用所述程序指令执行上述训练方法。计算机可读存储介质中，程序指令当被处理器执行时所述处理器执行上述训练方法。

技术领域

本发明涉及CNN模型训练领域，具体地说是一种CNN模型及其训练方法、终端、计算机可读存储介质。

背景技术

批量归一化(英文全称为BatchNormalization，英文简称为BN)能够加快深度神经网络模型的收敛，降低参数初始化的要求，具有尺度不变性，使得模型损失函数曲面更加平滑，所以这种归一化方法被广泛应用在深度模型中，尤其适用于卷积神经网络层。批量归一化算子一般放在卷积层(或全连接层)与激活层之间，算子对前一层输出的净激活值x进行变换，公式如下：

其中，μ和σ分别为净激活值x所属集合的均值和方差，在模型训练过程中统计而来；γ和β分别为尺度超参数和偏移超参数。

当BN层放在全连接层之后时，每个神经元的输出值组成一个集合，计算该集合的均值和方差。因此当批量batchsize设定为N个时，计算每个神经元输出的N个净激活值的均值和方差，然后按照上述变换公式进行归一化。

当BN层放在卷积层之后是，每个卷积核输出一个通道的特征图，当批量batchsize设定为N个时，该卷积核输出该通道上的N个特征图，统计这N个特征图所有净激活值的均值和方差，然后对该通道的特征图按照上述公式进行归一化。

由上可以看出，批量归一化算子在对模型某层的输出进行变换时，按照批量样本在卷积核对应的通道上的特征图或神经元对应的输出统计均值和方差。因此，在训练过程中每一步输入批量样本，模型同时计算出该批量样本在某一层的输出，然后统计输出的均值方差。

传统模式下，大批量样本在模型中顺序传递，计算完一层后将结果传递给下一层继续执行。当模型较为复杂时会产生大量的中间变量，因此占用过多的运行时存储，在存储资源受限的计算单元上无法同时输入大批量的样本数据。常规的选择是减小批量样本数量到计算单元存储上限，或者使用更多存储空间的计算单元满足大批量样本的需求。前者导致模型训练性能下降，后者需要付出更高的经济成本。

基于上述分析，如何在保证模型训练性能的前提下分批量的实现对大批量样本的分析，是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供一种CNN模型及其训练方法、终端、计算机可读存储介质，来解决如何在保证模型训练性能的前提下分批量的实现对大批量样本的分析的问题。

第一方面，本发明提供一种CNN模型的训练方法，所述训练方法应用于呈线性结构的CNN模型，且所述CNN模型具有批量归一化层，所述训练方法包括如下步骤：

在每个批量归一化层和与其相邻的上一个网络层之间插入一个同步层，所述同步层用于暂存与其相邻的上一个网络层的输出、并用于启动与其相邻的批量归一化层对输入数据的批量运算；

输入层和与其相邻的同步层之间的所有网络层、以及任意相邻的两个同步层之间的所有网络层分别为一段单独的网络层单元；

对于上述所有的网络层单元通过数据分批次的方式逐段进行前向传播；