[发明专利]一种通用的卷积神经网络无损压缩与加速方法

说明书

本发明公开了一种通用的卷积神经网络无损压缩与加速方法，卷积神经网络模型经过无损压缩器优化，以实现模型在嵌入式设备或移动设备上的部署问题。该无损压缩器由结构化剪枝器与模型重塑器进行级联构成。结构化剪枝器用于实现模型结构上的精简优化，通过某些结构化剪枝方法实现对模型参数、FLOPs、模型储存空间的结构化极大压缩；模型重塑器则是对结构化剪枝器精简优化后的模型根据模型特点进行一定程度上的模型重塑，重塑的时，在已优化的模型上尽可能引入更少的结构注入到优化模型中，保证优化后的模型有较少的计算力、参数量的增加，但却性能够上有明显的提升，从而实现模型性能的明显恢复。

技术领域

本发明属于人工智能领域，特别适用于深度神经网络模型的压缩，尤其涉及一种通用的卷积神经网络无损压缩与加速方法。

背景技术

深度学习模型与加速是深度学习中偏向于工业落地部署的一个重要的研究方向，其通过不同的手段在保证网络性能可接受范围内对网络进行优化，实现深度卷积神经的压缩与加速，从而实现在提高卷积神经网络的推理效率的同时而具有良好的推理性能。随着硬件技术的发展与学术界的广泛研究，卷积神经网络在视觉任务中取得了显著的成功，包括图像分类[5,8,18]、目标检测[17,16]，语义分割等[3,12]。在ILSVRC-2012的竞赛中，AlexNet[10]模型相比于传统的图像分类方式高出了8:7％左右的准确率。之后，随着GPU(Graphics Processing Unit)算力的提升，学术界研究的深入，AlexNet、VGGNet、ResNet、GoogleNet等神经网络设计的出现，神经网路的性能开始追上了人类的图像分辨水平。如今在一些视觉任务上它们开始逐渐的超越人类识别能力。然而，目前大多数的卷积神经网络(CNNs)由于部署端大量的计算和存储开销。例如，AlexNet网络是在2012年提出的，其刷新了ImageNet挑战赛以往的最高纪录，该网络由五层卷积层与三层全连接层组成，该网络拥有60兆参数量、超过200兆的模型体积，在进行一次网络推理时需要进行15亿浮点运算；VGG-16网络是由3层全连接层和13层卷积层组成，该网络拥有138兆参数量，超过500兆的模型储存空间，在进行一次前向推理时需要进行1.53×10¹¹次浮点预算，在英特尔i7-4790K(4GHz)上运行一个单核，使用一个Titan X GPU时，开启多线程推理，其推理时间为9.4ms。而在普通的移动设备上，由于设备本身的大小，使其在难以具备有如此高的算力资源以及足够的储存资源，其难以达到该性能。卷积神经网络对计算和存储资源的高需求严重阻碍了其大规模CNN在移动设备、可穿戴设备和物联网)