[发明专利]针对资源受限设备视频处理的深度学习网络裁剪方法

说明书

本发明提出了一种针对资源受限设备视频处理的深度学习网络裁剪方法，具体步骤为：根据网络收敛精度，确定子网络个数；根据确定的子网络个数将深度学习网络分成若干个独立子网络；采用group LASSO算法对每个子网络进行稀疏化处理，使可裁剪的网络权重逼近0；计算每一个子网络的所有权重和，将权重和小于设定阈值的子网络进行裁剪。本发明能够对神经网络进行稀疏化裁剪，移除不必要的权重分支网络，通过本发明，提高了计算效率，降低了计算开销。

技术领域

本发明属于神经网络技术，具体为一种针对资源受限设备视频处理的深度学习网络裁剪方法。

背景技术

传统深度学习在云端服务器进行处理，但面对海量数据的冲击，网络带宽和云服务器压力巨大，促使包括视频处理在内的智能计算从云端迈向端侧嵌入式设备。然而，嵌入式设备计算资源和存储资源有限，移动端难以承载较大规模的网络模型，较高的视频处理训练与推理时间，难以满足嵌入式平台的视频处理要求。深度强化学习(DeepReinforcement Learning)能够减少主存占用开销，但是其CPU计算开销仍然较大，难以广泛在计算能力有限的嵌入式设备中进行部署。对于移动设备，部署学习技术面临资源有限的挑战。由于现代的神经网络众所周知是计算/内存密集型的，因此在移动设备上训练常规大小的网络的成本非常高。先前的工作建议使神经网络更轻量级，同时保持接近的性能。深度强化学习是视频处理中常用的算法，基于表格的RL将表中的学习结果保持在表格中，在处理具有高维特征的数据时可能会导致显着的内存开销。为了克服这个限制，“V.Mnih,K.Kavukcuoglu,D.Silver,A.Graves,I.Antonoglou,D.Wierstra,andM.Riedmiller.Playing atari with deep reinforcement learning.In arXiv preprintarXiv:1312.5602,2013.”提出了一种深度RL模型，该模型被称为Deep-Q-Network(DQN)。DQN采用神经网络函数逼近器来近似每个状态-动作对的Q值。在深度监督学习方法中，假定所有样本都是独立的。但是，所有状态在强化学习中都高度相关。这给模型训练带来了挑战，因为高度相关的状态样本可能会影响后续状态-动作对的训练效率。

在目前的深度学习应用场景中，很难根据场景需求来制定合适的神经网络参数，例如隐层数目以及网络深度等。在这种情况下，通常的做法是设定足够复杂度的神经网络来确保计算能力足够强大以应对场景需求。在嵌入式边缘节点硬件框架中，由于计算资源有限，无法满足高复杂度的神经网络的需求。因此，多种神经网络的裁剪算法被推出。传统的神经网络裁剪算法可以被归为两类，非结构性裁剪算法和结构性裁剪算法。

(1)非结构性裁剪，如图1所示。该类裁剪需要消耗计算资源，算法所裁剪的权重不规则分布在整个权重空间中，只可以减少内存空间开销，而无法减少训练和预测开销。非结构化修剪方法来修剪多余的净重。一个简单的图示可以在图1中找到。这些方法有两个普遍的缺点。首先，修剪方法本身需要更多的计算，因此训练效率低下；其次，修剪后的权重会不规则地分布在权重矩阵上。结果，将这些方法直接应用于建议的框架是不适用的，因为增强学习(reinforcement learning，RL)框架需要频繁更新神经网络权重。同时，这种量化只能减少内存使用，而无法获得实际的加速。原因是，修剪后的加权始终被视为零，而不是在计算过程中被消除。

(2)结构性裁剪，如图2所示。结构性裁剪算法能够解决非结构性裁剪算法的缺陷。该类算法将整个神经网络分成若干个组，对每个组使用Group LASSO一次正则化进行稀疏处理。该方法无额外的计算开销，可以提升预测速度，但训练效率较低。结构化修剪方法通过在卷积层的通道或密集层的行和列的通道上应用组Lasso来解决上述问题。这些基于正则化的方法可以结构化的稀疏性来加速网络，而不会产生任何不必要的计算成本。但是，这些方法不能提高网络的训练效率。