[发明专利]一种鱼类关键点表型数据测量方法

权利要求书

1.一种鱼类关键点表型数据测量方法，其特征在于：包括以下步骤：

步骤1、拍摄多张鱼类的侧视图图像和俯视图图像，获取侧视图图像以及俯视图图像的标尺比例参数；

步骤2、利用标注软件标注俯视图及侧视图图像的关键点，并存储为*.csv格式文件；

步骤3、通过标注了关键点的俯视图及侧视图图像训练AIOI-CNet网络模型，利用已经训练好的AIOI-CNet网络模型，对俯视图下自定义的多个关键点及侧视图下自定义的多个关键点进行检测，得到各关键点坐标；

步骤4、根据AIOI-CNet网络模型检测得到的侧视图以及俯视图上关键点坐标，结合侧视图以及俯视图相机参数比例获取侧视图图像上鱼体的表型数据和俯视图图像上鱼体的表型数据；

步骤2所述AIOI-CNet网络模型的主干提取网络设计为ResNet50；分类和回归网络设计成一种基于多阶段迭代的关键点检测结构，包括特征提取模块和关键点解码模块；AIOI-CNet网络的损失函数采用Focal loss和目标中心的偏置损失L_off，两者计算出的损失值loss占总体损失值loss的占比都是0.5；

输入图像Image经过主干提取网络ResNet50和特征提取模块得到包含输入图像语义信息和空间信息的特征图；特征图通过关键点解码模块，得到关键点的位置坐标；所述关键点解码模块包括上下两个分支结构，其中，上分支结构用于预测得到关键点的位置坐标，下分支结构用于预测得到关键点的位移补偿量；再将关键点的位置坐标和关键点的位移补偿量两者结合得到最终的关键点坐标并可视化在图像上。

2.根据权利要求1所述的一种鱼类关键点表型数据测量方法，其特征在于：所述输入图像Image经过主干提取网络ResNet50和特征提取模块得到包含输入图像语义信息和空间信息的特征图的具体方法为：

[1]输入的图像Image经过resize大小变为3xwxh，其中，w和h分别为图像的宽和高，图像经过主干提取网络ResNet50进行特征提取，生成一个维度为2048x(w/32)x(h/32)的高维特征图V0；

[2]利用256个3x3的卷积核对高维特征图V0进行卷积，经过归一化BN，relu激活函数处理，然后再通过3x3的步长为2的反卷积生成一个维度为256x(w/16)x(h/16)的特征图V1；

[3]特征图V1经过BN归一化，relu激活函数处理，利用128个3x3的卷积核对高维特征图V1进行卷积，再经过BN归一化，relu激活函数处理后，通过3x3的步长为2反卷积生成一个维度为128x(w/8)x(h/8)的特征图V2；

[4]特征图V2经过BN归一化，relu激活函数处理，利用64个3x3的卷积核对高维特征图V2进行卷积，再经过归一化BN，relu激活函数处理后，通过3x3的步长为2的反卷积生成一个维度为64x(w/4)x(h/4)特征图V3。

3.根据权利要求2所述的一种鱼类关键点表型数据测量方法，其特征在于：所述上分支结构预测得到关键点的位置坐标的具体方法为：

(1)特征图V3通过64个3x3卷积，relu激活函数，利用numclass个1x1卷积得到numclass个大小为(w/4)x(h/4)的热力图heatmap；

(2)基于AIOI块对numclass个热力图heatmap进行训练，得到关键点分类模型；

在numclass个热力图heatmap中，自动取一张热力图heatmap设计成一个初始阶段的AIOI块，利用AIOI块传递关键点之间的位置空间信息，间接提高网络模型的整体精度；根据关键点之间不同的纹理特征和形状特征，将关键点分为“先验关键点”和“后验关键点”，利用“先验关键点”和“后验关键点”之间的关联信息和空间位置信息，根据前一张热力图heatmap辅助预测后一张热力图heatmap，此过程进行循环迭代，直至达到设定的训练次数，最终得到一个最优参数的分类模型文件；

所述“先验关键点”为在AIOI-CNet网络结构中置信度分数高于设定阈值的关键点；

所述“后验关键点”为在AIOI-CNet网络结构中置信度分数低于设定阈值的关键点；

(3)将训练后的numclass个热力图heatmap经过非极大抑制处理得到关键点的位置坐标。