[发明专利]一种基于特征融合网络的野生动物视频目标检测方法

权利要求书

1.一种基于特征融合网络的野生动物视频目标检测方法，其特征在于，包括如下步骤：

步骤1，采集野生动物视频和图像数据Data_bird，并标注得到完整包含目标的最小矩形框的左上角坐标值和长宽值，以及目标的类别信息，组成标签Label_bird；

步骤2，对采集到的野生动物数据Data_bird进行数据预处理，其中对采集到的图像数据进行形态变换、色彩变换和轮廓破坏预处理，对采集到的视频数据进行轮廓破坏预处理，得到预处理完成的数据集Data_preprocess；

步骤3，将预处理得到的数据集Data_preprocess输入到特征提取网络Model_select进行特征提取，得到多个尺度的特征即多尺度特征FM_select；

步骤4，将多尺度特征输入到特征融合网络Model_fuse，进行特征融合；对于数据集Data_preprocess中的视频数据融合相邻图像帧同尺度特征和同一图像帧的不同尺度特征，并保存每一帧融合后的特征；对于数据集Data_preprocess中的图像数据仅融合该图像不同尺度特征，最后得到多尺度融合特征FM_fuse；

步骤5，将多尺度融合特征FM_fuse输入到预测网络Model_predict中，得到多个尺度的预测框左上角坐标和长宽值，以及预测框中目标所属类别，使用NMS算法合并重复的检测结果，得到最后的预测值Y_predict；

步骤6，在网络训练阶段，使用损失函数Loss计算预测结果Y_predict和实际的标签Label_bird之间的损失值，从预测网络Model_predict开始反向传播，固定特征融合网络Model_fuse中的相邻图像帧特征融合模块的参数，更新特征融合网络Model_fuse中的多尺度特征融合模块的参数；

步骤7，在网络推理阶段，将待检测目标的图像数据的网络预测结果Y_predict直接作为最后的输出Y_output，对于视频数据的预测结果Y_predict，根据实际应用场景，进行后处理过滤，得到Y_output。

2.根据权利要求1所述的一种基于特征融合网络的野生动物视频目标检测方法，其特征在于，步骤2中所述轮廓破坏预处理，具体方法包括如下步骤：

步骤2-1，设置随机初始值r＝random(0，1)；

步骤2-2，当r＜0.5，将原图不做任何修改直接输出；

步骤2-3，当r≥0.5，对于第i个图像中的第j个检测目标其左上角坐标为(x^i，j，y^i，j)，长度为w^i，j，宽度为h^i，j；

步骤2-4，计算遮挡宽度方法如下：

计算遮挡间隔方法如下：

步骤2-5，从检测目标左上角像素开始，从左往右，每隔个像素，将个像素的像素值设置为0，直到超出检测目标的像素范围；

按所述方法，从上往下处理检测目标的每一行像素。

3.根据权利要求2所述的一种基于特征融合网络的野生动物视频目标检测方法，其特征在于，步骤3所述进行特征提取，具体包括如下步骤：

步骤3-1，训练阶段，在特征提取网络Model_select中，先输入所述野生动物视频和图像数据Data_bird中的图像数据，随后输入视频数据；

步骤3-2，特征提取网络Model_select中，选择使用Darknet53网络模型，提取三个不同尺度的特征；

步骤3-3，对于图像数据直接提取得到多尺度特征FM_select；

步骤3-4，对于视频数据将视频数据拆分成图像帧，每帧图像提取得到对应的多尺度特征FM_select。