[发明专利]一种基于层级约束的细粒度笔石图像分类方法和装置

说明书

本发明涉及一种基于层级约束的细粒度笔石图像分类方法和装置，分类方法包括：构建笔石化石数据集；提取笔石图像特征；计算笔石图像之间的相似性并根据物种之间的亲缘关系加权，得到所有笔石图像的加权后的层级约束损失；第四步，计算交叉熵损失；以层级约束损失和交叉熵损失的加权和作为训练阶段的总损失函数；模型训练。本发明的装置包括处理器和存储器。本发明利用物种之间层次化的亲缘关系来度量输入图像之间的相似性，然后将相似性作为正则化项添加到损失函数中，可以在反向传播的过程中降低CNN的参数量，以防止CNN过度关注两张相似但不属于同一类别的图像之间的细节特征。

技术领域

本发明属于细粒度图像分类领域，涉及一种利用卷积神经网络来识别笔石图像中笔石个体的方法和装置。

背景技术

图像分类是计算机视觉领域的一个经典任务。而细粒度图像分类是指在区分大类别的基础上，对子类别进行更精细的划分，因此也被称为子类别分类（例如区分不同品种的狗、不同种类的鸟和不同种类的花等）。细粒度图像分类无论在工业界还是学术界都有着广泛的研究需求与应用场景。例如，笔石分类可以用于支持页岩气识别，有可能提高页岩气勘探的效率（Zou C, Gong J, Wang H, et al. Importance of graptolite evolution andbiostratigraphic calibration on shale gas exploration[J]. China PetroleumExploration, 2019.）。但由于子类别之间的差异非常细微，细粒度图像分类一直以来都是一项具有挑战性的任务，尤其在包含着复杂的遗传关系和进化关系的生物图像上更明显。

细粒度图像分类任务需要回答图像中个体所属的具体子类别是什么。对于一张图像，我们首先需要对其进行特征提取，然后将提取到的特征进行处理并映射到分类空间，以得到图像属于每个类别的概率分布。相比于传统的利用人工特征的方法，卷积神经网络(Convolutional Neural Network，CNN)所提取的特征具有更强大的表示能力和区分性，并且可以进行端到端训练。因此，目前细粒度图像分类领域的主流研究都选择利用卷积神经网络CNN来提取特征并进行分类。CNN利用大量的中间层参数与输入图像进行一系列矩阵运算得到预测概率分布，然后计算其与真实标签分布之间的差异（损失），并通过梯度下降法对模型参数调优，使CNN的预测结果在训练过程中逐渐逼近真实结果。

笔石是一种古代海洋群体生物，目前它们已经灭绝，而笔石遗骸被压扁、碳化后以化石的形式保存了下来。因此，相比于传统生物图像采集自形态各异的有机生命体，笔石图像，存在着纹理不清晰、组织结构缺失、形态单一、颜色和部分纹理是虚假的等特点。而目前的先进细粒度图像分类方法大多是在已有CNN的基础上，设计一个复杂的特征提取模块来获取交互特征或定位图像中的局部区域以学习更细粒度的判别性特征。这些方法通常会大大增强网络参数量，从而可能使CNN学习到笔石图像中虚假的颜色、纹路等特征，导致分类效果不好。

在Dubey等人的研究（Dubey A,Gupta O, Guo P, et al. Pairwise confusionfor fine-grained visual classification[C]//Proceedings of the Europeanconference on computer vision (ECCV). 2018: 70-86.）中，作者计算图像之间的距离作为损失函数的正则化项，并提出当使用欧氏距离计算的图像特征之间的相似性作为交叉熵损失的正则化项时，不会使损失函数发散，相比于其他距离度量函数能使CNN获得更好的分类效果。但作者忽略了生物图像在不同分类层级的关系，对于不同类别的生物图像，它们之间的相似性与类别之间的从属关系应当是密切相关的。

发明内容