[发明专利]基于带有噪声和不平衡的类标签的鲁棒学习方法

说明书

本发明公开了一种基于带有噪声和不平衡的类标签的鲁棒学习方法，其包括如下步骤：获取带有噪声且分布不平衡的数据集；初始化各项参数；搭建模型与损失函数；将数据集输入模型中进行初始训练；每次迭代训练前，教师模型将原始数据集划分为伪干净数据集和伪噪声数据集；将伪干净数据集输入模型中进行无监督对比学习以及蒸馏训练；将伪噪声数据集输入模型中进行组内对比学习以及蒸馏训练；训练完成后，使用教师模型分类器对图像进行类别预测任务。本发明方法针对数据集中不平衡分布的问题，进一步采用重加权的方式，使得在训练后期模型侧重于学习样本量较少的类别，提升了深度学习模型的准确率。

技术领域

本发明涉及一种基于带有噪声和不平衡的类标签的鲁棒学习方法。

背景技术

分类任务的实现需要大规模且高质量的数据集作为支撑。然而，与人工设计的用于实验室的数据集不同，现实世界中的数据集含有大量标噪声签，且各类数据之间呈现不平衡分布，即各类数据的数量相差悬殊。对于噪声标签，主要采用损失纠正的方法进行处理，深度神经网络在拟合标签噪声前会学习简单的样本，因此，在噪声标签学习过程中，将具有小损失的样本认为是干净样本，具有大损失的样本认为是噪声样本，从而区分噪声标签。虽然根据损失大小能够解决数据集中含有噪声的问题，但是在不平衡分布中，含有较少样本的小类样本也会因数量不足而产生较大损失，因此，当数据集中同时存在噪声与不平衡分布时，具有较大损失的样本中不仅包括噪声标签，还包括小类样本，从而导致性能的严重下降。

发明内容

本发明提出一种基于带有噪声和不平衡的类标签的鲁棒学习方法，以提升同时存在噪声标签以及类别分布不一致情况下模型的分类准确率。

本发明为了实现上述目的，采用如下技术方案：

基于带有噪声和不平衡的类标签的鲁棒学习方法，包括以下步骤：

步骤1. 获取带有噪声标签且不平衡分布的数据集D={x_i,}；D代表由图像x_i以及对应的含有一定概率的噪声标签组成的数据集，i∈{1,N}，N表示D中样本总数；

步骤2. 初始化各项参数，包括：

训练次数t=0、预训练参数T_th、噪声筛选参数η、伪标签阈值δ以及温度参数τ；

步骤3. 搭建深度学习模型与损失函数，包括：学生模型S₁、S₂、S₃、教师模型S₀、交叉熵损失函数L_ce、无监督对比损失L_ucl、组内对比损失L_gcl以及蒸馏损失L_dis1和L_dis2；