[发明专利]基于梯度重优化的半监督小样本分类方法

说明书

本发明公开了一种基于梯度重优化的半监督小样本分类方法，包括：根据类别信息将数据集划分为元训练阶段和元测试阶段，每个阶段有若干个任务，每个任务分为支持集和查询集，支持集包括有标签数据和无标签数据，计算每个支持集中有标签训练样本的梯度信息，进行梯度优化得到粗分类器；利用粗分类器预测无标签数据的伪标签，得到支持集的全部标签；对支持集数据进行梯度重优化得到精分类器，再测试得到查询集的结果。本发明充分利用少量的有标签数据和无标签数据的梯度信息，提高算法的准确度，并且在计算样本梯度信息和梯度重优化过程中使用元任务的一阶近似值来代替二阶导信息，从而提升分类的速度。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于梯度重优化的半监督小样本分类方法。

背景技术

近年来，计算机视觉在各个领域得到了广泛的应用。而小样本学习已经成为计算机视觉领域中非常重要的前沿问题，在医疗图像等数据采集难度较大的领域具有十分广阔的应用前景。小样本学习问题存在两个难点：标记样本极少，多数类别少于10个；分类器需要适应新的类别，小样本学习问题的分类器必须调整以适应新的类，传统的方法是在新的数据上重新训练新的模型，但是由于样本太少，往往会导致过拟合。为了解决这些问题，有研究者提出了元学习的概念，它主要分成了元测试阶段和元训练阶段，元训练阶段使用的是有大量标签的基础数据，元测试阶段使用的是有少量标签的新类数据。在每个阶段将数据分成了很多个任务，每个任务上有支持集和查询集，分别对应传统深度学习的训练集和测试集。它的思路是寻找模型的参数和超参数，这样一来在不会让小样本过拟合的条件下可以很容易的适应新的任务，即在元测试阶段能够达到很好的效果。

目前，已有一些学者对小样本学习进行了研究，主要的方法可以分为三类：第一类是基于模型的方法，该方法主要通过设计模型的结构，使用少量样本来更新参数从而直接建立输入和预测值的映射函数。第二类是基于度量学习的方法，它的主要思想是将任务中的样本映射到一个特征空间内，通过最近邻的思想来完成分类。最后一类是基于梯度重优化的方法，通过梯度下降找到一组最优的参数，从而能够在新任务上经过少量的更新就能达到很好的效果。

然而上述这些方法都是基于监督学习的，在现实生活中还有大量的无标签数据可以利用，如果直接应用在小样本的算法中仍然存在如下的几个问题：1)元训练阶段只有包含很少的有标签数据，如何构建一个模型，以在元测试阶段获得更好的效果是有待解决的问题之一；2)虽然目前对无标签数据处理的方法在图像识别中取得了较高的识别率，但是这些都是基于一定量样本的情况下的，在元学习条件下依然没有一个较好的处理无标签数据的方法。

通过以上描述，如何在元学习的情况下充分利用无标签数据，并且进一步提高检测准确率是亟待解决的问题。

发明内容

本发明的目的在于提供一种基于梯度重优化的半监督小样本分类方法，充分利用无标签数据的信息，来进一步提高网络对当前任务的适应度，并且使用了一种新的可用于小样本学习的半监督方法，从而在查询集上能够获得更高的准确度，具有良好的应用前景。

为了达到上述目的，发明采用的技术方案是：一种基于梯度重优化的半监督小样本分类方法，包括以下步骤：

步骤(A)，对有标签数据的特征进行建模，得到一个初步模型，然后结合该模型以及伪标签生成算法得到无标签数据的伪标签，从而得到支持集的全部标签；

步骤(B)，将新的支持集输入梯度重优化模块中，对支持集数据的特征进行建模，得到最终模型，再测试得到查询集的结果。

进一步的，所述步骤(A)具体实现如下：

(A1)将有标签数据输入网络结构中，计算样本的梯度信息，再利用样本的梯度信息更新网络参数，得到一个初步模型；

(A2)利用初步模型以及伪标签生成算法得到无标签数据的伪标签。

进一步的，步骤(A1)中的样本梯度信息计算公式具体为：