[发明专利]一种基于渐进式层级加权注意网络的细粒度行为识别方法

权利要求书

1.一种基于渐进式层级加权注意网络的细粒度行为识别方法，其特征在于，包括以下步骤：

将采集到的图像进行预处理后输入预先定义的神经网络模型进行训练，训练模型是以Resnet50为骨干的4层渐进式网络组成，其中：

渐进式网络第一层对原始图像进行训练，计算其父类和子类损失，并联合反向传播进行第一阶段模型的参数更新；

渐进式网络第二层，使用YOLO v5进行人体检测，将检测后的结果进行裁剪并插值，与原始图像相融合作为输入进行训练，其损失计算和模型参数更新方式同第一阶段；

渐进式网络第三层对原始图像进行训练，计算其父类和子类损失，并联合反向传播进行第一阶段模型的参数更新；

渐进式网络的第四层，将线性插值后的图像进一步细粒度特征提取以及裁剪，与原始图像融合进行训练，并在其划分子类时，引入Resnet50第三、四、五层计算自注意力之后的隐藏向量，根据每一层的损失值进行加权融合，计算子类损失，并联合父类损失反向传播进行第四阶段模型的参数更新；

将实时数据输入训练好的网络进行识别。

2.根据权利要求1所述的一种基于渐进式层级加权注意网络的细粒度行为识别方法，其特征在于，对模型渐进式训练的过程包括：

渐进式网络的第一层，将原始图像作为输入，利用Resnet50网络提取特征，取Resnet50网络倒数第三层特征图进行固定大小的平均池化，池化完成之后输入自注意力网络捕获全局依赖性，然后输入分类器进行子类划分，计算损失记作L1；

同时，将Resnet50分类层用于父类预测，将此父类预测的损失记作L_r1，将L1与L_r1联合进行模型的首次反向传播，并更新参数；

渐进式网络的第二层，将原始的输入图像和来自人体裁剪后进行双线性插值的目标图像进行融合后作为该层的输入，人体的裁剪范围来自于YOLOv5对于原始图像进行人体检测后的结果；

将原始输入与目标图像融合之后利用Resnet50网络进行特征提取，取Resnet50网络倒数第二层特征图进行固定大小的平均池化，池化完成之后接入自注意力机制，输入分类器进行子类划分，计算损失记作L2；

同时，将Resnet50网络分类层用于父类预测，将此父类预测的损失记作L_r2；L2与父类的损失值L_r2联合进行模型的第二次反向传播与更新。

渐进式网络的第三层，将原始图像作为输入，利用Resnet50网络提取特征，取Resnet50网络倒数第一层特征图进行固定大小的平均池化，池化完成之后输入自注意力网络捕获全局依赖性，输入分类器进行子类划分，计算损失记作L3；

同时，将Resnet50网络分类层用于父类预测，将此父类预测的损失记作L_r3，将L3与L_r3联合进行模型的第三次反向传播，并更新参数；

渐进式网络的第四层中，将原始输入图像和经过细粒度特征提取后随机裁剪的图像作为输入，将两个图像进行融合之后接入自注意力模块，在划分子类前，引入了层级加权机制，其利用了Resnet50网络第三、四、五层注意力计算之后的隐藏向量，并将隐藏向量根据渐进式网络前三层的损失值加权融合，融合完成之后计算子类损失值记作L4；

同时，将Resnet50网络分类层用于父类预测，将此父类预测的损失记作L_r4，将L4与父类损失L_r4相联合进行最后的反向传播与参数更新。