[发明专利]用于目标检测的深度卷积神经网络的压缩加速方法

说明书

本发明公开了一种用于目标检测的深度卷积神经网络的压缩加速方法，包括：构建并训练一个用于目标检测的深度卷积神经网络；对深度卷积神经网络中所有的权重值和除最后一层外的各层经激活函数后的激活值进行量化测试，量化步长由小至大，测试该网络的检测性能损失情况，在设定的损失范围内选择最大的量化步长；利用该量化步长，确定神经网络中权重值与激活值的截断范围，对神经网络加以限制并训练网络；对深度卷积神经网络进行截断与量化，编写前向代码。本发明采用量化技术降低网络存储量，将网络中32位浮点数运算转化为8位整数运算，同时利用网络的稀疏性，将网络中满足稀疏性条件的层转化为稀疏矩阵运算，达到压缩加速深度卷积神经网络的目的。

技术领域

本发明涉及深度学习和人工智能领域，尤其涉及用于目标检测的深度卷积神经网络的压缩加速方法。

背景技术

由于在信息检索、自动驾驶、机器人导航和增强现实等领域的广泛应用前景，目标检测一直是计算机视觉领域的一个重要研究方向，得到了学术界和工业界的广泛研究和关注。传统的目标检测系统主要采用一些人工设计的特征，如Haar特征和HoG特征等，利用支持向量机等分类器对图像进行滑窗分类来达到检测物体的效果。近年来，随着深度学习的兴起，卷积神经网络对目标检测带来极其有效的解决办法，基于深度卷积神经网络的方法取得的结果均大幅度领先传统的方法。

然而，由于卷积神经网络伴随着大量的存储量和计算量，例如经典的VGG16网络需要约520MB存储量和153亿次乘加运算，即便是现有的一些轻量级网络，仍然需要数十MB存储量和数百万次乘加运算，如此巨大的存储量和运算量限制了卷积神经网络的应用，尤其是移动设备和嵌入式设备中。

发明内容

(一)要解决的技术问题

有鉴于此，本发明的目的在于提供一种用于目标检测的深度卷积神经网络的压缩加速方法，其采用量化技术降低网络的存储量，将网络中32位浮点数运算转化为8位整数运算，同时利用网络稀疏性的特点，将网络中满足稀疏性条件的层转化为稀疏矩阵运算，以此达到压缩加速用于目标检测的深度卷积神经网络的目的。

(二)技术方案

本发明提出了一种用于目标检测的深度卷积神经网络的压缩加速方法，包括下列步骤：

步骤1：构建并训练出一个用于目标检测的深度卷积神经网络；

步骤2：对深度卷积神经网络中所有的权重值和除最后一层外的各层经激活函数后的激活值进行量化测试，量化步长由小至大，测试该深度卷积神经网络的检测性能损失情况，在设定的损失范围内，选择最大的量化步长；

步骤3：利用上述最大的量化步长，根据网络需要的压缩位数，确定深度卷积神经网络中权重值与激活值的截断范围，对深度卷积神经网络加以限制，并训练深度卷积神经网络；

步骤4：对该深度卷积神经网络进行截断与量化，并对量化后的深度卷积神经网络前向代码进行编写。

进一步地，步骤1包括：

步骤11：设计深度卷积神经网络的结构，设置卷积层和池化层的参数，除最后一个卷积层外，在每个卷积层与激活函数之间添加批量归一化层；

步骤12：将训练集的数据输入至深度卷积神经网络，采用随机梯度下降法对深度卷积神经网络进行训练，当深度卷积神经网络在测试集上的误差收敛时，终止训练，保存深度卷积神经网络各个层的参数。

进一步地，步骤11包括：激活函数采用ReLU。

进一步地，步骤2包括：

步骤21：对网络中所有的权重值和除最后一层外的各层经激活函数后的激活值进行量化，量化方式采用均匀量化，量化公式如下：