[发明专利]一种基于层级约束的细粒度笔石图像分类方法和装置

权利要求书

1.一种基于层级约束的细粒度笔石图像分类方法，包括下列步骤：

第一步，采集笔石原始图像；

第二步，对笔石原始图像中的笔石个体进行细粒度标注；

第三步，根据细粒度标注结果对笔石原始图像进行像素级裁剪、标注框裁剪和数据增强，得到表征笔石个体的笔石图像，构建笔石数据集；

第四步，利用卷积神经网络模型提取笔石图像特征，方法为:对于一张输入的笔石图像利用卷积神经网络模型的卷积、激活和池化操作来提取其特征图，获得特征向量；通过一个嵌入层将特征向量投影为一个维度为数据集类别数量的特征向量，投影后所获得的特征向量代表卷积神经网络模型对输入的笔石图像的预测向量，预测向量中的每个值代表它对应的类别的预测得分，预测得分越高表示笔石图像属于该类别的概率越大；

第五步，计算笔石图像之间的相似性并根据物种之间的亲缘关系加权，得到所有笔石图像的加权后的层级约束损失HC-Loss，方法为：

将同批次中的笔石图像随机划分成多组笔石图像对，每组图像对包含两张笔石图像；对于每组笔石图像对的两张笔石图像，根据两张笔石图像中的笔石所属类别的亲缘关系来量化相似性权重，对于分别属于两个类别的笔石图像，亲缘关系越近，相似程度越大，相似性权重值设置得越大；反之，若亲缘关系越远，则相似性权重值设置得越小；

在每个训练批次batch中，计算所有笔石图像的加权后的层级约束损失HC-Loss，方法为：计算每组笔石图像对中两张笔石图像的预测向量之间的欧氏距离；根据所设置的每组笔石图像对的相似性权重值，对所有组笔石图像对的相似性进行加权求和，并除以分组的数量, 得到所有笔石图像的加权后的层级约束损失HC-Loss；

第六步，计算用来表征卷积神经网络模型的预测概率分布和图像的真实标签分布之间的差异的交叉熵损失CE-Loss；

第七步，以层级约束损失HC-Loss和交叉熵损失CE-Loss的加权和作为卷积神经网络模型在训练阶段的总损失函数；

第八步，卷积神经网络模型训练。

2.根据权利要求1所述的细粒度笔石图像分类方法，其特征在于，第一步中，所采集的笔石原始图像包括覆盖各科、属和种的高分辨率图像。

3.根据权利要求1所述的细粒度笔石图像分类方法，其特征在于，第四步按照下列步骤执行：对于一张输入的笔石图像，利用卷积神经网络模型中的卷积、激活和池化操作来提取关于的特征图，设的尺寸为，其中、和分别表示特征图的通道数、高度和宽度；将特征图展平为一个维度为的特征向量，并通过一个嵌入层将其投影为一个维度的特征向量，其中代表数据集的类别数量，而所述的嵌入层通过全连接层来实现，最终获得的图像的特征向量代表卷积神经网络模型对输入图像的预测向量。

4.根据权利要求3所述的细粒度笔石图像分类方法，其特征在于，一组笔石图像对所包含的两张笔石图像的预测向量之间的欧氏距离：

其中，为一组笔石图像对，表示从卷积神经网络模型中提取到的关于笔石图像的一个预测向量，而是指预测向量中的第个元素，代表欧氏距离。

5.根据权利要求1所述的细粒度笔石图像分类方法，其特征在于，第五步中，根据类别和亲缘关系设置一组笔石图像对的相似性权重值的方法为：

如果一组笔石图像对的两张笔石图像属于同一类别且最低公共父类别在种这一层级，则将相似性权重值设为0；

如果一组笔石图像对的两张笔石图像来自同一个属的不同种且最低公共父类别在属这一层级，将相似性权重值设为1.0；

如果一组笔石图像对的两张笔石图像属于同一个科的不同属且最低公共父类别在科这一层级，将相似性权重值设为大于0.5且小于1.0的值；

如果一组笔石图像对的两张笔石图像来自不同的科且最低公共父类别在目这一层级，将相似性权重值设为大于0.1且小于0.3的值。

6.根据权利要求5所述的细粒度笔石图像分类方法，其特征在于，第五步中，如果一组笔石图像对的两张笔石图像属于同一个科的不同属且最低公共父类别在科这一层级，将相似性权重值设为0.6。