[发明专利]面向嵌入式网络模型的剪枝方法

说明书

本发明公开了一种面向嵌入式网络模型的剪枝方法，用于解决现有剪枝方法实用性差的技术问题。技术方案是首先建立mobilenetSSD网络模型，进行一次前向运算，获得剪枝计算所需数据；通过lasso回归挑选出那些对卷积层计算结果不重要的通道，通过lasso算法挑选出这些通道中对求和结果影响较低的通道；Mobilenet把原来一层卷积分解为一个通道分离卷积层和一个点卷积层，通道分离卷积层的输入通道等于其输出通道。本发明以降低重构误差为核心，使用lasso挑出所有卷积层中出不重要的通道，然后依照mobilenet的特殊结构，对所有的卷积层做通道上的修剪，完成mobilenetSSD的压缩加速，实用性好。

技术领域

本发明涉及一种剪枝方法，特别涉及一种面向嵌入式网络模型的剪枝方法。

背景技术

随着人工智能领域中深度卷积网络模型的发展，大型网络模型的性能越来越高，然而在部署到一些嵌入式设备上时，限于有限的计算资源，其运行速度过慢。

对于神经网络模型的加速压缩方法来说，其关键是使用算法来挑出网络中那些不重要的节点，然后删除这些冗余节点来完成网络模型的压缩加速。Yang等人在文献“Designing energyefficient convolutional neural networks using energy-awarepruning.arXiv preprint arXiv:1611.05128,2016.”中基于参数值的方法进行剪枝，把网络中那些参数数值比较低的节点剪去，对模型的影响较低，又可以加快网络运行速度。但是这种基于阈值的方法剪枝效果过于依赖具体的网络模型，当模型复杂时无法做到有效的优化。

Mobilenet是Howard等在“MobileNets:Efficient Convolutional NeuralNetworks forMobile Vision Applications.arXiv preprint arXiv:1704.04861,2017”中提出的一种面向嵌入式设备提出的轻量级网络，然而在做目标检测任务时，MobilenetSSD在大部分嵌入式设备上速度还很低，不能达到实际应用需求，这对深度网络模型的实用性有着很大影响。

发明内容

为了克服现有剪枝方法实用性差的不足，本发明提供一种面向嵌入式网络模型的剪枝方法。该方法首先建立mobilenetSSD网络模型，进行一次前向运算，获得剪枝计算所需数据；通过lasso回归挑选出那些对卷积层计算结果不重要的通道，卷积计算是所有通道对应相乘再求和，通过lasso算法挑选出这些通道中对求和结果影响较低的通道；Mobilenet把原来一层卷积分解为一个通道分离卷积层和一个点卷积层，通道分离卷积层的输入通道等于其输出通道。本发明以降低重构误差为核心，使用lasso挑出所有卷积层中出那些不重要的通道，然后依照mobilenet的特殊结构，对所有的卷积层做通道上的修剪，完成mobilenetSSD的压缩加速，实用性好。

本发明解决其技术问题所采用的技术方案：一种面向嵌入式网络模型的剪枝方法，其特点是包括以下步骤：

步骤一、将驾驶员的状态分为左看、右看、低头、闭眼、打电话、打哈欠和正常驾驶七个状态。先对数据进行标注，然后修改mobilenetSSD，使其输出七个状态，基于模型在imagenet数据集上训练好的模型，在新任务上进行微调训练，得到能够检测驾驶状态的新模型。

步骤二、建立网络模型，进行一次前向运算，得到网络中所有卷积层的数据和参数；对所有点卷积层做剪枝操作如下：对一卷积层，先取出该层的卷积核参数矩阵W，形状为n×c×h×w，分别指卷积核的个数，卷积核的通道数，卷积核的宽和卷积核的高。然后拿到这个卷积层中输入数据，进行采样得到X，形状为N×c×h×w，N指数据的采样个数。

步骤三、直接采样或计算得到该卷积层的输出Y，计算输出即把输入X和参数W对应通道相乘，所有通道求和得到Y，其形状为N×n。忽略参数中的偏置项，其中i指特征通道。