[发明专利]一种深度卷积神经网络的压缩及加速方法、神经网络模型及其应用

权利要求书

1.一种深度卷积神经网络的压缩及加速方法，其特征在于，包括以下步骤：

1)将深层深度卷积神经网络转化为宽浅神经网络结构；

2)将规范化的样本数据输入到宽浅神经网络进行训练，得到浮点数权值；

将浮点数权值和神经网络结构的激活函数进行二进制化，得到二进制化后的神经网络；

将二进制化后的样本数据作为训练数据，输入二进制化后的神经网络进行训练并更新参数，直至预测值与ground truth误差达到预设误差，完成训练；

其中，在二进制化后的神经网络的训练过程中，卷积运算将转化为加法和减法运算。

2.根据权利要求1所述的深度卷积神经网络的压缩及加速方法，其特征在于，步骤1)中的转化过程具体为：

将深层卷积神经网络结构中的基本卷积单元进行剪切并级联，使其变为宽浅神经网络。

3.根据权利要求1所述的深度卷积神经网络的压缩及加速方法，其特征在于，步骤2)具体包括：

201)将训练样本进行规范化，得到二制化后的训练样本；

202)将所述规范化后的训练样本输入到变宽变浅的神经网络进行训练，得到浮点数权值；

203)对训练过程中得到的浮点数权值二进制值化为1和-1，保存为二进制权值；

将神经网络的激活函数二进制值化为二进制激活函数，得到二进制化后的神经网络；

204)将二制化后的训练样本输入到二进制化后的神经网络进行训练，输出本轮训练预测值；

其中，二制化后的神经网络在训练过程中卷积运算转化为加法和减法运算；

205)采用二进制权值来计算反向传播的梯度，并更新参数；

206)计算本轮训练输出的预测值与ground truth的误差，若误差达到预设误差，进入步骤207)；否则，重复步骤204)-206)；

207)结束训练。

4.根据权利要求3所述的深度卷积神经网络的压缩及加速方法，其特征在于，步骤203)的具体过程包括：

定义二进制值神经网络阶段；

二进制化神经网络权值和激活函数阶段。

5.根据权利要求4所述的深度卷积神经网络的压缩及加速方法，其特征在于，定义二进制值神经网络具体为：

将每一个卷积结构表示为<I,W,*>；

其中，I为一组张量，每一个元素I＝I_l为卷积神经网络的第_l层的输入张量，l＝1,...,L，L为卷积神经网络的层数；

W为相对应的一组张量，每一个元素W_lk代表卷积神经网络的第l层的第k个权值滤波器，k＝1,...,k^l，K^l为CNN的l层的权值滤波器的数量；

*代表I与W的卷积操作，其中，c代表通道数，w_in代表宽度，h_in代表高度；

其中，w≤w_in，h≤h_in。

6.根据权利要求4所述的深度卷积神经网络的压缩及加速方法，其特征在于，二进制化神经网络权值和激活函数具体为：

利用表示一个具有二进制权值的操作，其中，表示通过加法和加法操作的卷积运算；B代表一个二进制滤波器，B∈{+1,-1}^c×w×h；表示尺度因子；W≈αB；

通过如下优化函数来获取二进制权值：

通过对上述公式展开及分析可知，二值化滤波器B可以通过如下的最大化约束优化项获得：

若W_i≥0，则B_i＝+1，否则B_i＝-1，因此

B^*＝sign(W) (3)

通过对J(B,α)关于α求偏导后，得n是一个常数，用sign(W)代替B^*可得

其中，W^T代表权值W的转置，sign为一种通用激活函数，表示对w求L1范式。