[发明专利]一种基于生成网络与知识蒸馏的模型网络提取和压缩方法

说明书

本发明公开了一种基于生成网络与知识蒸馏的模型网络提取和压缩方法，包括如下步骤：利用训练好的教师网络训练生成网络的损失函数，得到训练好的生成网络；根据生成网络生成多张生成图片；将生成图片输入到训练好的教师网络和学生网络，对学生网络进行知识蒸馏；更新学生网络；本发明提供的方法在面对一个大型网络的时候，能够根据任务的不同只学习到大型网络中特定类别的分类知识，迁移到更小的网络中。同时本发明的方法可以更少地依赖数据本身，在无数据的情况下进行知识蒸馏，减少了原始的知识蒸馏对于真实数据的依赖。

技术领域

本发明涉及误差补偿领域，特别是指一种基于生成网络与知识蒸馏的模型网络提取和压缩方法。

背景技术

在人工智能领域，为了解决不同的问题，人们提出越来越多复杂的网络结构，网络规模越来越大，同时引发的问题就是在实际项目中由于硬件资源计算能力等限制，性能优秀的大型网络应用十分困难，因此有许多方法如知识蒸馏等能够对训练完成的大型网络进行压缩和提速。同时，对于一个已经训练好的网络，根据实际情况需求，很多情况下希望网络的需求可能并不是原来网络的全部任务目标，而只是其中的部分任务目标，比如现在已有一个大的网络在ImageNet上实现1000类的分类任务，然而在实际应用中，任务的目标可能并不需要上述的1000类而是其中10类任务目标。

对于网络压缩和提速技术，目前已有一些经典的方法进行研究与改进。相关研究人员提出一个对神经网络新的哈希编码方式来加速网络的运行，他将参数进行哈希映射，在同一个哈希桶中的参数贡献权值。它通过对已经训练好的网络中的滤波器和全连接的神经元进行评价确定模型剪枝滤波器和全连接层的位置。另外通过核的稀疏化对权重进行正则化诱导更新，使得核的权重更加稀疏后方便进行裁剪。除了在已经训练好的模型中通过各种方法剪枝去减少模型的容量外，Hinton提出了知识蒸馏这一概念，通过让学生模型的输出标签和教师模型的输出标签尽量接近来拟合教师模型，达到将教师网络学习到的知识迁移到一个更小的学生网络的目的。和上述方法相比，它能够脱离模型压缩之间对模型结构的限制。

目前来说，已有一些经典对网络的压缩方法进行研究，有的是在原有模型的基础上进行剪枝操作，有的是利用核的稀疏化进行网络加速，有的是利用蒸馏重新设计一个更小的网络进行压缩。

直接通过蒸馏等技术虽然可以使得网络压缩后的模型不受到原有已经训练好的模型的约束，但是蒸馏过程对原有的数据集有很强的依赖。且蒸馏前后网络的任务目标没有改变，无法只进行网络部分知识的迁移。

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于生成网络与知识蒸馏的模型网络提取和压缩方法，使得在面对一个大型网络的时候，能够根据任务的不同只学习到大型网络中特定类别的分类知识，迁移到更小的网络中；同时可以更少地依赖数据本身，在无数据的情况下进行知识蒸馏，减少了原始的知识蒸馏对于真实数据的依赖。

本发明采用如下技术方案：

一种基于生成网络与知识蒸馏的模型网络提取和压缩方法，包括如下步骤：

利用训练好的教师网络训练生成网络的损失函数，得到训练好的生成网络；

根据生成网络生成多张生成图片；

将生成图片输入到训练好的教师网络和学生网络，对学生网络进行知识蒸馏；

更新学生网络。

具体地，利用训练好的教师网络训练生成网络的损失函数，得到训练好的生成网络，具体包括：

利用训练好的教师网络对生成网络生成图片的教师网络的分类结果输出作为反馈；

利用反馈计算生成网络的损失函数；

计算损失函数的梯度，更新生成器网络的参数。当生成网络生成的图片对教师网络的输出与教师网络对于真实图片输出的分类结果满足设定要求，得到训练好的生成网络。