[发明专利]一种自知识蒸馏和无监督方法相结合的自然图像分类方法

说明书

本方法公开了一种自知识蒸馏和无监督方法相结合的自然图像分类方法。无监督学习旨在发现数据本身的特性，相似的样本提取特征后，他们的表示是相似的。将无监督这种方式引入到现有的自知识蒸馏方法中，可以增加每个分支的特征抽取能力，从而提高模型对于分类的准确率。在设计分支结构时，为了进一步减少参数量，为了提高模型推断速度，采用了分组卷积。

技术领域

本发明涉及神经网络模型压缩、无监督、图像分类领域。尤其涉及一种将无监督自编码器方法和自知识蒸馏方法结合的自然图像分类方法。

背景技术

在庞大参数量的深度神经网络中，并不是所有的参数都在模型中发挥了作用，有些参数作用有限、表达冗余，甚至有可能会降低模型的性能。参数量庞大也会让成本变得巨大。模型压缩技术旨在获得相对与大规模网络参数量较少，占用资源较少，但是在准确性上比较不错的小规模网络。

卷积神经网络的出现，让一些计算机视觉和自然语言处理的任务，例如图像分类，目标检测，文本分类等的性能有了很大的提高。深层网络的性能往往要优于浅层网络，较深的网络在抓取特征有优异的效果的同时，也会带来一些问题，比如模型变得复杂参数增多需要大量的计算以及内存资源。如果把深层神经网络千万级参数模型全部装入到一些资源有限的设备上，例如移动设备上，这些设备的资源本身就存在限制，然后再进行相应的推断任务，对于这些设备来说相应的模型推断任务是无法正常应用的。

知识蒸馏是一种常见的模型压缩方法，其将复杂模型或多个模型的知识迁移到另一个轻量级的模型之中，使得模型规模变小的同时尽量不损失性能。现有深度学习蒸馏方法可分为基于最后输出结果的蒸馏方法、基于中间特征层的蒸馏方法。在知识蒸馏中，传统的的思想在于将老师的知识传递给学生，提高学生的能力。

现有的模型压缩知识蒸馏技术中，自知识蒸馏技术是对蒸馏技术的一个改进。传统的蒸馏技术中，需要引入一个较大的老师网络来监督，这个较大的网络在加载过程也需要大量的内存占用，并且前向推断也要用到GPU。自知识蒸馏不需要引入额外的教师结构，自己就可以当做自己的老师。这种方式利用深层次去训练浅层次结构。本方法提出一种无监督方法与知识蒸馏结合的方式。无监督学习旨在发现数据本身的特性，把相似的样本提取特征后，它可以将相似的样本在表示上变得相似。将这种方式引入到现有的自知识蒸馏方法中，可以提高每个分支之间特征的相似性，从而提高模型对于分类的准确率。在设计分支结构时，为了进一步减少参数量，提高模型推断速度，采用了分组卷积。

发明内容

现有深度学习模型参数量大，部署使用不灵活，为了解决这个问题，本发明采用结合无监督自编码器方式的自知识蒸馏，该方法通过提高每个分支的特征抽取能力，增加同类之间特征的相似性来提高分支的准确率。在应用时，可以裁减掉不需要的部分来减少参数量，也可以不考虑参数量将多分支结合起来进一步提高模型正确率。

一种自知识蒸馏和无监督方法结合的自然图像分类方法，主要包括以下几个步骤：

S1数据处理过程

S1.1使用简单的数据增强方法，预处理即将要训练的数据集。

S1.2将数据集随机打乱分为不同的批次送入设计好的网络中；

S2训练过程

S2.1将经过预处理的数据输入到设计好的网络模型中，得到每个分支结构经过全连接层前的特征值。

S2.2将特征值输入到设计好的解码器，解码器最后输出一张与输入数据大小相同的特征，本质是还原初始图片，这里求MSE损失。单独的编解码结构设计不同的权重的MSE损失。

S2.3将上一步全连接前的特征输入到全连接，经过softmax得到预测值。将预测值与真实label求交叉熵损失。

S2.4反向传播loss，重复直到模型收敛。

S3预测过程