[发明专利]一种自监督学习辅助下的半监督学习方法及系统

说明书

一种自监督学习辅助下的半监督学习方法，包括以下步骤：将训练样本划分为若干个批次，每个批次包括标注数据或无标注数据；将当前批次的数据随机翻转，再与原数据进行合并，作为当前输入数据；用特征提取网络提取当前输入数据的特征，得到抽象特征；以及把提取的抽象特征送入到图像类别分类网络或者图像角度翻转分类网络进行图像类别和图像角度翻转判断，若输入数据为标注数据，则将抽象特征同时送入图像类别分类网络和图像角度翻转分类网络进行图像类别和图像角度翻转判断，若输入数据为无标注数据，则只将抽象特征送入图像角度翻转分类网络，进行图像角度翻转判断。本发明方法提升了半监督学习的图像类别分类性能。

技术领域

本发明涉及到机器学习算法领域，具体地涉及一种自监督学习辅助下的半监督学习方法及系统。

背景技术

当前基于深度学习的方法在计算机视觉相关任务上取得了巨大的成功，例如：人脸识别的准确率已经超过了人类水平。但是深度学习模型往往需要海量的带标签的数据，而在实际情况中某些类别样本(例如，异常行为数据)的收集是很困难的，且对大量的样本进行标注通常既耗时又费力。相反，我们人类通常只需要极少数的样本就可以对新的类别进行学习。受人类这种学习模式的启发，机器学习领域很早就提出了半监督学习的概念，即，在大量的样本数据中，只有小部分的数据(通常是10％左右)是带有标签的，带标签的数据和不带标签的数据具有相同的数据分布。半监督学习期望能从少量带标签数据中学习到训练数据的粗略模式分布，通过不断地进行对带标签和不带标签数据的交替式学习，最后达到可以区分所有样本(带/不带标签)的训练结果。近一两年来，深度学习领域又提出了自监督学习的范式。自监督学习不需要对样本进行标注，它仅通过一些自定义的前置任务(pretext task)就可以学习到高层次的视觉语意信息。目前自监督学习通常是用来训练一个初始的模型，这个模型在后续的视觉任务(图像分类、物体识别等)中可以快速进行知识的迁移，只需要少量的样本就可以达到训练的目的。当前，自监督学习和半监督学习通常是面向不同的学习任务而单独进行训练的。自监督学习和半监督学习虽然是两种不同的学习范式，但是从学习目的(刻画从底层(中层(高层模式分布)来看，两者是相融的。

发明内容

本发明提供了一种在自监督学习辅助下的半监督学习方法，可以同时利用带标签和不带标签的数据进行训练，对于带标签的数据，同时使用自监督损失和分类损失进行训练；对于不带标签的数据，仅使用自监督损失进行训练。通过这种联合训练模式可以使得模型在不带标签的数据上取得更好的泛化性能，提升自监督学习模型的分类性能。

本发明的技术方案如下：

根据本发明的一个方面，提供了一种自监督学习辅助下的半监督学习方法，包括以下步骤：S1：获得样本数据：将训练样本划分为若干个批次，每个批次包括标注数据或无标注数据；S2：随机数据翻转并与原数据进行合并：将当前批次的数据随机翻转，再与原数据进行合并，作为当前输入数据；S3：用特征提取网络提取当前输入数据的特征，得到抽象特征；以及S4：把提取的抽象特征送入到图像类别分类网络或者图像角度翻转分类网络进行图像类别和图像角度翻转判断，若输入数据为标注数据，则将抽象特征同时送入图像类别分类网络和图像角度翻转分类网络进行图像类别和图像角度翻转判断，若输入数据为无标注数据，则只将抽象特征送入图像角度翻转分类网络，进行图像角度翻转判断。

优选的，在上述半监督学习方法中，在步骤S2中，数据翻转的角度从集合{90°，180°，270°，0°}中进行随机选择。

优选的，在上述半监督学习方法中，在现有的半监督图像分类模型下加入了自监督学习损失函数，使得在模型的训练过程中可以同时利用标注和无标注的图像，其中，自监督学习损失函数表示为：

Loss＝L_l(D_l，θ_l)+μL_u(D_u，θ_u) (1)

其中μ为两项损失函数的调和系数，通常取为0.5，