[发明专利]面向嵌入式网络模型的剪枝方法

摘要

本发明公开了一种面向嵌入式网络模型的剪枝方法，用于解决现有剪枝方法实用性差的技术问题。技术方案是首先建立mobilenetSSD网络模型，进行一次前向运算，获得剪枝计算所需数据；通过lasso回归挑选出那些对卷积层计算结果不重要的通道，通过lasso算法挑选出这些通道中对求和结果影响较低的通道；Mobilenet把原来一层卷积分解为一个通道分离卷积层和一个点卷积层，通道分离卷积层的输入通道等于其输出通道。本发明以降低重构误差为核心，使用lasso挑出所有卷积层中出不重要的通道，然后依照mobilenet的特殊结构，对所有的卷积层做通道上的修剪，完成mobilenetSSD的压缩加速，实用性好。

主权项

1.一种面向嵌入式网络模型的剪枝方法，其特征在于包括以下步骤：步骤一、将驾驶员的状态分为左看、右看、低头、闭眼、打电话、打哈欠和正常驾驶七个状态。先对数据进行标注，然后修改mobilenetSSD，使其输出七个状态，基于模型在imagenet数据集上训练好的模型，在新任务上进行微调训练，得到能够检测驾驶状态的新模型。步骤二、建立网络模型，进行一次前向运算，得到网络中所有卷积层的数据和参数；对所有点卷积层做剪枝操作如下：对一卷积层，先取出该层的卷积核参数矩阵W，形状为n×c×h×w，分别指卷积核的个数，卷积核的通道数，卷积核的宽和卷积核的高。然后拿到这个卷积层中输入数据，进行采样得到X，形状为N×c×h×w，N指数据的采样个数。步骤三、直接采样或计算得到该卷积层的输出Y，计算输出即把输入X和参数W对应通道相乘，所有通道求和得到Y，其形状为N×n。忽略参数中的偏置项，其中i指特征通道。步骤四、记β为通道选择向量，其值为0时，剪去该通道，否则就留下该通道，记剪枝后的模型重构误差为求解优化该函数是一个NP问题，所以将其宽松为以下公式，λ为惩罚系数，使用lasso算法优化该目标函数，得到选择系数向量β。步骤五、对所有卷积层，重复步骤二至四，得到所有卷积层的通道选择向量选择系数向量β，最后一次性进行参数修剪。步骤六、对每一卷积层，根据选择系数向量β，移除对应位置的卷积核或所有卷积核的对应通道；对通道分离卷积层剪去对应卷积核，对点卷积层剪去所有卷积核中的对应通道，即通道分离卷积层的卷积核个数减少，点卷积层中核通道数减少。并且通道分离卷积层的卷积核个数和输入通道相等，所以通道分离卷积层的输入即上一点卷积层的输出通道也要对应修剪，即减少卷积核的个数。步骤七、对新模型做微调训练，进一步提高模型准确率，最后部署到嵌入式设备上。