[发明专利]一种压缩目标检测神经网络的方法

说明书

本发明公开了一种压缩目标检测神经网络的方法，首先将原来复杂、参数量大的骨干神经网络替换成参数较少的骨干网络；然后使用基于特征内积FSP的蒸馏方法对替换后的网络进行训练，然后使用通道剪枝的方式稀疏网络；最后使用量化、权值共享及编码的方法压缩网络权重，进一步降低权重所占空间。与现有技术相比，本发明将多种现有公知技术进行组合从而解决了目标检测网络压缩技术难题，能够使得目标检测神经网络模型复杂度降低，减少所占内存空间，(2)充分利用现有的神经网络压缩技术使得目标检测网络推理速度提升，提高运行效率，具有推广应用的价值。

技术领域

本发明涉及网络技术领域，尤其涉及一种压缩目标检测神经网络的方法。

背景技术

自2012年CNN在图像分类领域取得耀眼成绩后，开始有人试图将CNN运用到目标检测问题中。传统的目标检测算法由于基于滑动窗口的区域选择策略没有针对性，时间复杂度高，窗口冗余以及手工设计的特征对于多样性的变化并没有很好的鲁棒性等问题，使得其改善空间很大。基于CNN的目标检测算法开始发展，从两步走的R-CNN，Fast R-CNN，Faster R-CNN到一步走的YOLO系列，基于深度学习的目标检测算法在精度上逐步提升，但是其模型的复杂度也越来越高。由于目标检测神经网络的模型复杂度高，参数量大，因此也就存在如下缺陷：

(1)内存占用大，低内存设备无法运行。

(2)使得模型运行的推理时间长，处理速度慢。

发明内容

本发明的目的是要提供一种压缩目标检测神经网络的方法。

为达到上述目的，本发明是按照以下技术方案实施的：

本发明压缩目标检测神经网络的方法包括以下步骤：

S1：将原来复杂、参数量大的骨干神经网络替换成参数较少的骨干网络；选择目标检测准确度与原骨干网络最为接近的现有成熟简单网络将原来网络层较深的骨干网络替换为网络层较浅，网络结构相似的网络。

S2：使用基于特征内积FSP的蒸馏方法对替换后的网络进行训练，所述基于特征内积FSP的蒸馏方法用小模型去拟合大模型不同层特征之间的转换关系，从而直接用小模型去拟合大模型的输出；基于特征内积FSP的蒸馏方法具体为：使用一个FSP矩阵来表示不同层特征之间的关系，大模型和小模型不同层之间分别获得多个FSP矩阵，然后使用L2 loss让小模型的对应层FSP矩阵和大模型对应层的FSP矩阵尽量一致。

S3：使用通道剪枝的方式稀疏网络；具体地，通过减少卷积层中卷积核的数量来减小模型大小和降低模型计算复杂度，微调训练至收敛；通道剪枝的方式中通道的重要采用熵进行判断：

首先，从训练集取n张图片作为一个集合，使用原网络进行推断，设网络的输出为p个通道，则会得到一个n×p的张量，对于每一个通道，得到了该通道的向量pi，对pi的n个值,将之分到M个区间，然后计算这个通道的熵：

根据熵的大小进行排序，然后按照稀疏率进行裁剪；对于目标检测网络，仅仅对卷积层进行剪枝，全连接层则进行平均池化的操作；每次剪枝一个通道后进行一次微调，剪枝完所有通道后在多个epoch上进行微调。

S4：使用量化、权值共享及编码的方法压缩网络权重，进一步降低权重所占空间。量化、权值共享及编码的方法为：将浮点数量化为8位定点数，利用kmeans聚类算法计算权重的多个聚类中心，将权重量化为距离最近的聚类中心，然后对量化后的权重使用Huffman编码，进一步降低压缩率。

本发明的有益效果是：