[发明专利]神经网络模型压缩方法、装置、电子设备及可读存储介质

说明书

本发明公开了一种神经网络模型压缩方法、装置、电子设备及可读存储介质。其中，该方法包括：将待压缩神经网络输入至预先训练完成的压缩模型，其中，压缩模型包括通道剪枝模块以及自蒸馏量化模块；通过通道剪枝模块对待压缩神经网络进行通道剪枝操作，以得到第一输出；通过自蒸馏量化模块对第一输出进行自蒸馏量化操作，以得到目标神经网络。本发明解决了相关技术中压缩后的神经网络模型产生较大的精度损失的技术问题。

技术领域

本发明涉及神经网络压缩技术领域，具体而言，涉及一种神经网络模型压缩方法、装置、电子设备及可读存储介质。

背景技术

神经网络模型压缩框架作为一种用于减少网络存储大小，提高推理速度的基础深度学习组件，在业界中已经被广泛的应用，如Tensorflow Lite、MNN(深度神经网络推理引擎)和百度飞桨等。当前公开的神经网络模型压缩方法，通常的做法是设计一个压缩模块或者一套串行的模型压缩流程，并实施单个或者逐级进行迭代压缩(如图1所示，虚线框表示可选项)。第一步，通过知识蒸馏提升待压缩网络的性能；第二步，对网络执行剪枝算法以获取更紧凑的网络结构(数据类型float32)，最后用量化感知训练算法或者训练后量化算法进行权重量化，从而得到所述压缩后的目标网络。

申请人在实现本申请的技术方案之前，发现目前相关技术中的神经网络模型压缩方法，在实际生产环境使用时仍有以下缺点：

1.各压缩策略单独设计，缺乏较好的关联组合优化：一方面，神经网络模型的压缩过程中包括常见的权重量化和知识蒸馏两个独立策略，由于不同策略优化目标函数的不一致，将上述两种策略串行组合后的输出反而没有达到单个策略能达到的最佳性能。另一方面，由于通道剪枝和量化感知训练存在一定的关联影响，对于剪枝+量化感知训练的简单串行组合，往往会造成输出的压缩后的神经网络模型产生较大的精度损失。

2.基于量化感知训练的传统压缩策略，需要较长的再训练时间：对于传统神经网络压缩框架的量化感知训练步骤，当待量化网络的权重分布为非典型正态分布，或者激活特征分布存在明显的长尾分布时，往往需要大量重复迭代训练集，用于重新规则化权重和激活特征的分布，以达到无损量化的目的，但是同时也降低了量化算法的时效，需要更多的训练时间和计算资源。

3.使用校准集和标定表的方法，量化后的模型精度无法保证，在一些对精度要求高的场景会有较大的影响，如安全审核。

可见，相关技术中针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种神经网络模型压缩方法、装置、电子设备及可读存储介质，以至少解决相关技术中压缩后的神经网络模型产生较大的精度损失的技术问题。

根据本发明实施例的一个方面，提供了一种神经网络压缩方法，包括：将待压缩神经网络输入至预先训练完成的压缩模型，其中，所述压缩模型包括通道剪枝模块以及自蒸馏量化模块；通过所述通道剪枝模块对所述待压缩神经网络进行通道剪枝操作，以得到第一输出；通过所述自蒸馏量化模块对所述第一输出进行自蒸馏量化操作，以得到目标神经网络。

进一步地，所述第一输出包括第一神经网络，其中，通过所述自蒸馏量化模块对所述第一输出进行自蒸馏量化操作，以得到目标神经网络，包括：在所述第一神经网络中插入伪量化算子，以及，对所述第一神经网络进行量化模拟，以得到第二神经网络；对所述第二神经网络进行迭代训练，以得到量化误差函数以及自蒸馏损失函数；根据所述量化误差函数以及所述自蒸馏损失函数，对所述待压缩神经网络进行压缩，以得到所述目标神经网络。

进一步地，在所述第一神经网络中插入伪量化算子，以及，对所述第一神经网络进行量化模拟，以得到第二神经网络，包括：对所述待压缩神经网络中的权重参数以及所述待压缩神经网络输出的网络特征，分别进行阈值截断以及分布规则化处理；对所述权重参数以及所述网络特征进行量化处理，以得到所述第二神经网络。