[发明专利]基于双头深度学习的类别不平衡图像分类方法及装置

说明书

本发明公开了一种基于双头深度学习的类别不平衡图像分类方法及装置，方法为：获取目标图像并进行多类中心划分，得到新标签；构建双头图像分类模型；输入特征提取器得到通道特征向量，和目标图像原始标签的通道进行计算，得到正则化损失；输入特征提取器得到分类特征向量，并输入分类器中得到分类概率；结合新标签进行计算，得到分类损失；将正则化损失和分类损失结合作为模型的总损失函数进行训练，获得目标图像的分类结果。本发明通过双头分支结构，在特征提取器上提取通道特征向量和分类特征向量，分类特征向量经过分类器后得到分类概率，再计算正则化损失和分类损失，二者结合获得模型的总损失函数，提高了模型的性能和图像分类的准确性。

技术领域

本发明属于图像处理的技术领域，具体涉及一种基于双头深度学习的类别不平衡图像分类方法及装置。

背景技术

在传统的分类和识别任务中，训练数据的分布往往都受到了人工的均衡，即不同类别的样本数量无明显差异。一个均衡的数据集固然大大简化了对算法鲁棒性的要求，也一定程度上保障了所得模型的可靠性，但随着关注类别的逐渐增加，维持各个类别之间均衡就将带来指数增长的采集成本。比如，如果要做一个动物分类数据集，猫狗等常见数据可以轻轻松松的采集数以百万张的图片，但是考虑到数据集的均衡，也必须给雪豹等罕见动物采集等量的样本，而随着类别稀有度的增加，其采集成本往往呈指数增长。

深度神经网络在各种图像分类上都表现出了优越的性能，然而，在实际场景中可以观察到，训练样本的类别之间不平衡，这样训练的分类器往往会偏向于具有较大训练样本的多数类别，而少数类别在分类器训练和推理中往往在某种程度上会被忽略。过去已经提出了多种方法来处理此类类别不平衡的问题。其中一种研究方法尝试在模型训练期间重新平衡类，例如，通过重新采样以获得每个类的相似数量的训练数据，或者通过在训练损失中重新加权类；使用类重新平衡策略，分类器将在模型训练期间更公平地处理多数类和少数类。然而，基于来自少数类的非常有限的训练样本的类重新平衡往往会导致少数类的模型过度拟合，进一步使对应的分类器泛化性差。而另一种研究方法试图直接提高泛化性分类器，例如，通过使用大型数据集ImageNet使用预训练分类器的backbone(主干网络)进行转移学习，或者通过使用各种增强技术(如Mixup及其扩展Remix和Balanced-Mixup)增加训练数据的数量，特别是针对少数类；除了数据空间中的增强，特征空间中少数类的增强也有助于缓解过拟合问题。

显然，可以将上述两组方法结合起来处理类不平衡问题。例如，最先进的两阶段训练策略首先训练一个更具泛化性的特征提取器，然后使用重新平衡策略微调分类器头。两阶段策略进一步扩展为累积学习策略BBN，其中第一个特征提取器学习平滑地转移到类重新平衡过程。另一个策略是MiSLAS，它在分类器训练期间结合了损失加权和Mixup增强。

现有技术主要通过改进训练过程来缓解类别不平衡的问题，但是由于数据集中实际包含的少数类样本少，即使采用重采样或者损失加权，也不能完全矫正，反而导致模型对少样本类的过度拟合从而没法提升性能。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于双头深度学习的类别不平衡图像分类方法及装置，本方法提出一个新颖的双头分支结构，通过在模型的特征提取器上进行特征平衡以及在分类器上进行类平衡，同时保持对所有类别的公平性，以帮助模型更好地训练，提高模型性能以及提高整体召回率。

为了达到上述目的，本发明采用以下技术方案：

一方面，本发明提供了一种基于双头深度学习的类别不平衡图像分类方法，包括下述步骤：

获取目标图像并进行多类中心划分，得到新标签；

构建双头图像分类模型；所述双头图像分类模型包括特征提取器和分类器；

将获得新标签的目标图像输入所述特征提取器得到通道特征向量，和目标图像原始标签的通道进行计算，得到正则化损失；