[发明专利]基于无标签数据的神经网络模型量化方法及装置

说明书

本发明涉及图像处理技术领域，具体涉及一种基于无标签数据的神经网络模型量化方法及装置。为了解决现有技术需要依赖训练集才能实现对神经网络压缩的问题，本发明提出一种基于无标签数据的神经网络模型量化方法，包括基于第一预设量化位宽对原始神经网络模型的权重进行量化，获取第一量化神经网络模型；基于原始神经网络模型的输出和第一量化神经网络模型的输出，对第一量化神经网络模型的每一层不同通道的量化位宽进行优化，获取第二量化神经网络模型；基于原始神经网络模型的特征和第二量化神经网络模型的特征，对第二量化神经网络模型的权重进行优化，获取目标神经网络模型。本发明的方法能够通过少量无标签数据对神经网络模型进行量化。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于无标签数据的神经网络模型量化方法及装置。

背景技术

深度神经网络在计算机视觉、语音识别等领域取得了巨大成功，深度神经网络的应用也越加广泛。深度神经网络的结构在近年来得到极大发展，甚至在一些任务上识别的准确率超过了人类，但是与此同时，深度神经网络需要巨大的参数量和计算量，导致深度神经网络的应用受到了较大限制，例如，将神经网络部署到移动设备上。

随着今年深度神经网络的压缩和加速成为学术界和工业界的研究热点，涌现了大量的深度神经网络量化方法，例如模型量化、网络剪枝、低秩分解、知识蒸馏、轻量化模型等。其中，模型量化能够实现较高的压缩比，在定制硬件上能够实现较高的加速比。

但是现有的深度神经网络量化方法均需要依赖训练集才能实现对深度神经网络的压缩，并且整个量化过程十分耗时。在实际应用中，例如医学图像分析等，因为隐私等各种原因，导致无法获得大量的训练数据，也就限制了现有的深度神经网络量化方法的应用。

因此，如何提出一种解决现有技术问题的方案是本领域技术人员需要解决的技术问题。

发明内容

为了解决现有技术中的上述问题，即为了解决现有技术需要依赖训练集才能实现对深度神经网络压缩的问题，本发明的第一方面提供了一种基于无标签数据的神经网络模型量化方法，所述方法包括：

基于第一预设量化位宽对原始神经网络模型的权重进行量化，获取第一量化神经网络模型；

其中，所述原始神经网络模型为预先设定并训练好的神经网络模型，所述原始神经网络模型的权重为浮点型参数；

基于所述原始神经网络模型的输出和所述第一量化神经网络模型的输出，对所述第一量化神经网络模型的每一层不同通道的量化位宽进行优化，获取第二量化神经网络模型；

其中，所述原始神经网络模型的输出是将预先获取的无标签数据输入所述原始神经网络模型获得的最后一层的输出，所述第一量化神经网络模型的输出是将所述无标签数据输入所述第一量化神经网络模型获得的最后一层的输出；

基于所述原始神经网络模型的特征和所述第二量化神经网络模型的特征，对所述第二量化神经网络模型的权重进行优化，获取目标神经网络模型；

其中，所述原始神经网络模型的特征是将所述无标签数据输入所述原始神经网络模型获得的中间层和最后一层的输出，所述第二量化神经网络模型的特征是将所述无标签数据输入所述第二量化神经网络模型获得的中间层和最后一层的输出。

优选地，“基于第一预设量化位宽对原始神经网络模型的权重进行量化”，其方法包括按照如下公式所示的方法对所述原始神经网络模型的权重进行量化，得到第一量化神经网络模型的权重：

w_q＝round(w_f/Δ)Δ

Δ＝(max-min)/(2ⁿ-1)