[发明专利]一种多粒度信息融合细粒度图像分类方法及系统

说明书

本发明公开了一种多粒度信息融合细粒度图像分类方法及系统，通过输入图像构成图像数据集；通过全局干扰模块构建三元组；通过渐进式多粒度信息融合训练策略将三元组输入到CNNs骨干网络中进行训练获得优化的分类模型；通过优化的分类模型对输入的图像进行分类从而得到最终的分类结果，该方法不需要使用任何手工标注，通过两个相互协作的过程：全局干扰和渐进式多粒度信息融合，使网络能够融合不同粒度的信息，从而找出更具判别性的局部特征，基准网络加上该方法在所有数据集上都能大大提高识别精度。

技术领域

本发明属于机器学习技术、图像分类技术领域，具体涉及一种多粒度信息融合细粒度图像分类方法及系统。

背景技术

细粒度图像识别是计算机视觉领域的一项极具挑战性的任务，通常是区分同一超类别下的子类别。与一般的图像识别不同，不同的子类别之间有相似的结构且只有细微的不同，这导致了细粒度图像类别间的低方差。另外由于光照，遮挡等不确定因素导致了同一类别间的图像具有高方差。因此，细粒度图像识别的方法必须能够精确地发现同一超类别的不同子类之间的细微差异，这是一项具有挑战性的任务。

现有的大多数细粒度图像识别方法，根据其所使用的监督信息，可分为两类:强监督识别和弱监督识别。这两种方法在训练过程中使用了不同的监督信息，导致了它们的算法有很大的差异。强监督识别方法除了使用类别标签信息外，还会使用其他的人工标注信息，比如部位框等，这种方式需要广泛的标注所以非常费时费力，而且由于细粒度类别需要充足的专业知识才能分辨，这是一个巨大的瓶颈。随着深度学习和迁移学习的兴起，只需图像水平标签的弱监督识别方法开始占据主流地位，但是这种方法大多依赖大规模标注数据(如ImageNet数据集)预训练的权重。

自监督学习最几年取得了巨大的突破，因为预训练过程中不需要使用任何标注信息而且能取得和监督学习相近甚至更高的结果使得自监督学习逐渐成为一种趋势，但是在细粒度图像分类领域自监督方法是一种新的范式。本专利研究了在自监督学习下的细粒度图像分类问题。

现有的细粒度图像分类方法按照训练时使用的监督信息的多少大致可以分为强监督识别和弱监督识别两类。强监督识别方法由于需要额外的人工标注加之细粒度图像类别需要很强的专家知识才能判别导致这种方法非常费时费力。目前主流的弱监督细粒度图像分类方法只用图像水平的标签信息从训练数据中挖掘出有区别的信息，虽然取得了不错的结果，但是这些方法大都严重依赖大规模数据集(如ImageNet数据集)预训练的权重，然而，ImageNet数据集预训练的目标没有考虑到下游分类任务的特点，因此获得的模型对于细粒度分类任务来说是次优的。因此，在细粒度图像分类中，设计一种无需人工标注就能成功学习图像视觉表征的学习方法是很有必要的。总之，细粒度图像方法普遍存在的问题如下：

第一，细粒度图像分类需要比一般的图像分类更多的专家知识，而手工标注这些数据成本过高。

第二，现有的细粒度图像分类方法大多依赖大规模数据集(ImageNet)上的预训练模型，但是这个模型由于没有考虑到下游任务的特点，所以对于细粒度分类任务来说是次优的。

发明内容

本发明的目的在于提出一种多粒度信息融合细粒度图像分类方法及系统的技术方案,以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。

本发明为解决上述问题，本专利基于细粒度图像类内方差大，类间方差小的特点，提出一种基于自监督对比学习的多粒度信息融合算法，用于细粒度图像分类任务。该算法在不使用任何人工标签的情况下可以提高自监督细粒度图像分类的正确率，并且在不使用ImageNet数据集预训练权重下大大拉近了在细粒度图像分类领域自监督学习和监督学习之间的差距。该自监督算法主要包括预训练和微调两个阶段。

为了实现上述目的，根据本发明的一方面，提供一种多粒度信息融合细粒度图像分类方法，所述方法包括以下步骤：

S100，输入N张图像构成图像数据集；