[发明专利]一种基于对比学习的细粒度舰船识别方法

说明书

本发明公开了一种基于对比学习的细粒度舰船识别方法，采集并标注舰船分类数据集，并对每张图像采用几种不同的数据增强方式获得图像集合，依次组合成同类与非同类图像集合对，交替输入孪生分类网络进行图像特征提取与分类，通过三个损失函数分别提取图像的等变性特征、判别性特征以及多维融合特征，最终实现同类别舰船分类相同，不同类别舰船之间可有效区分的效果。本发明弥补了舰船类别分布不平衡、样本规模较小的实际问题，通过对比学习有效提升了细粒度分类的性能，通过提取等变特征提高了模型的泛化性，能适用于实战多变场景。

技术领域

本发明涉及计算机视觉识别技术领域，尤其是涉及一种基于对比学习的细粒度舰船识别方法。

背景技术

细粒度图像分类无论在工业界还是学术界都有着广泛的研究需求与应用场景，与之相关的研究课题主要包括识别不同种类的鸟、狗、花、车、飞机等。在实际生活中，识别不同的子类别存在着巨大的应用需求。例如，在海洋舰船识别中，有效识别出不同类别的舰船，可以加强海上生命安全、提高航行的安全性和效率，以及保护海上领土安全。

细粒度图像分类问题是对大类下的子类进行识别。细粒度图像分析任务相对通用图像任务的区别和难点在于其图像所属类别的粒度更为精细，其子类间差异细微、子类内部差异大。因此，不止对计算机，对普通人来说，细粒度图像任务的难度和挑战无疑也十分巨大。

在细粒度舰船数据集中，还存在类别不平衡的严重问题，即数据长尾分布问题。例如，某些国外新型舰船只有几张图像，有些常见型号的舰船数据量较多。这将导致在分类模型训练过程中过拟合到训练数据较多的类别中，而训练数据少的类别的准确率则会很低。

发明内容

为解决现有技术的不足，实现降低细粒度舰船识别难度，达到低成本、高性能的目的，本发明采用如下的技术方案：

首先采集并标注舰船分类数据集，并对每张图像采用几种不同的数据增强方式获得图像集合，依次组合成同类与非同类图像集合对，交替输入孪生分类网络进行图像特征提取与分类，通过三个损失函数分别提取图像的等变性特征、判别性特征以及多维融合特征，最终实现同类别舰船分类相同，不同类别舰船之间可有效区分的效果。其具体技术方案如下：

一种基于对比学习的细粒度舰船识别方法，包括如下步骤：

S1：采集图像，将每张图像保存到其所属类别的文件夹下，构建分类数据集；

S2：对图像采用种不同的数据增强方式，获得对应的图像集合，并标记新生成的图像所采用的数据增强方式类别，经过数据增强处理后，有效缓解了细粒度图像数据集中整体数据规模较小、个别类别样本量过少的问题；

S3：构建孪生分类网络，包括如下步骤：

S3.1：使用预训练过的骨干网络，提取图像特征；

S3.2：构建等变特征提取网络头，对骨干网络输出的特征进行全局平均池化，并通过全连接层输出图像采用的数据增强方式类别，采用交叉熵损失函数，指导等变特征提取网络头的学习；

S3.3：构建判别性特征提取网络头，对骨干网络输出的特征进行全局平均池化，并通过全连接层输出图像所属类别，采用交叉熵损失函数，指导判别性特征提取网络头的学习；

S3.4：构建多维融合特征提取网络头，对骨干网络输出的特征进行全局平均池化，将同一图像集合内的图像所提取的特征，进行拼接，同一图像集合内的图像包括原图与通过数据增强方式生成的图像，将拼接后的特征输入全连接层，输出多维融合特征向量，并使用该向量进行下一步的对比学习；

S4：将图像集合，根据分类数据集的分类，依次组合成同类与非同类图像集合对，交替输入孪生分类网络进行拟合训练，根据输出的多维融合特征向量，并进行相似度比较；

采用对比损失函数，结合相似度比较计算方法，指导特征空间的学习，使正样本相似，负样本有效区分；