[发明专利]面向深度神经网络训练和推理的范围批处理归一化算法的硬件电路

说明书

本发明公开了一种面向深度神经网络训练和推理的范围批处理归一化算法的硬件电路，包括权值缓冲器，用于存储深度神经网络当中的权值数据；输入/结果缓冲器，用于存储深度神经网络的输入特征图数据以及输出特征图数据；脉动阵列，包含若干个处理单元，且所有处理单元构成一维串行结构或二维阵列结构，用于执行卷积运算当中的乘和累加运算以及批处理归一化的功能。本发明设计了一个高效的卷积神经网络训练体系结构，其核心计算单元是脉动阵列，脉动阵列当中的计算单元支持卷积神经网络训练算法中的前向传播和反向传播当中的批处理归一化层的操作，能实现范围批处理归一化算法的硬件加速，具有实现高效的优点。

技术领域

本发明涉及深度神经网络训练的硬件加速器，具体涉及一种面向深度神经网络训练和推理的范围批处理归一化算法的硬件电路。

背景技术

近几年，卷积神经网络在语音、图像识别(包括人脸、常规物体)以及自然语言处理等方面均获创新发展。卷积神经网络囊括卷积层、池化层、激活层和全相连层。其中，卷积层担负着特征的抽象和提取的任务；池化层中的池化操作紧接卷积运算，它的作用是特征融合和降低复杂度；激活函数在卷积层和全相连层进行操作，卷积神经网络中通常运用线性整流函数等多段线性函数来激活，它的作用是提升非线性性；全连接层则负责逻辑推断和去除空间信息。

反向传播算法是一种神经网络学习算法，主要思想是通过不断将输出误差(期望输出与实际输出之差)按原通路反传计算，通过隐含层反向直至输入层。在反传过程中计算每层的每个神经元的误差并调整各层神经元的权值和阈值，逐渐降低误差至最低。反向传播算法分为前向传播和误差的反向传播两个过程。前向传播时，输入样本从输入层传入，经隐含层的处理，传向输出层。若输出层的实际输出与期望输出误差较大，则转入误差的反向传播过程。如图1所示，误差反传将输出误差以某种形式通过隐含层向输入层逐层反传，并将误差分摊到各层的神经元，从而获得各层神经元的误差信号，并将该误差信号作为修正各神经元权值的依据。通过周而复始的权值调整过程，直到网络输出的误差减小到可接受程度，或达到预先设定的学习次数，终止过程。

卷积神经网络近年来得到了广泛的应用。然而，它们不断增长的参数量使得用图形处理单元(Graph Processing Unit，简称GPU)对它们进行训练变得高耗能、高耗时，阻碍了其发展。这使得研究者们把注意力转向了使用更加高能效的硬件对卷积神经网络进行训练。

批处理归一化(Batch Normalization,简称BN)层已经被广泛地使用于最先进的卷积神经网络当中，因为它是加速卷积神经网络训练的一个不可或缺的层。批处理归一化(Batch Normalization，简称BN)算法通过批处理归一化解决了神经网络内部的协变量位移问题。即解决了由于大量累加过程导致的神经网络训练的反向传播中的梯度爆炸和梯度消失问题。其原理是计算出所有值的均值和平方差，从而对其进行归一化操作，使之满足(0,1)正态分布。之后通过两个调整参数γ和β，适当调整其分布，步骤描述如下：

输入：批当中的x的值β＝{x₁…x_m}；γ和β是需要训练的参数。

输出：{y_i＝BN(x_i)}

步骤：

1、计算小批的值的均值μ：

上式中，m代表小批(mini batch)，x代表小批中的每个累加和的值。

2、计算批的标准差σ：

上式中，m代表小批(mini batch)，x代表小批中的每个累加和的值，μ代表步骤1中的批的值的均值。

3、计算归一化后的值，使之满足(0,1)正态分布：