[发明专利]基于特征聚合的视频目标检测方法、装置、设备及介质

权利要求书

1.一种基于特征聚合的视频目标检测方法，其特征在于，包括：

构建目标检测网络，所述目标检测网络包括第一网络和第二网络，所述第一网络的输出信息发送至第二网络的输入端，所述第一网络由YOLOv5m网络结构，去除其最后一级的卷积层形成，所述第二网络为特征聚合网络；

获取所述视频的第一帧图像I¹和第二帧图像I²，并通过所述目标检测网络确定所述第一帧图像I¹和第二帧图像I²分别对应的第一支持帧的建议特征集和第二支持帧的建议特征集

将所述视频的第t帧图像I^t输入所述目标检测网络，结合第一支持帧的建议特征集和第二支持帧的建议特征集输出目标检测结果，t≥3；

判断是否根据所述第t帧图像更新所述第一帧图像I¹、第二帧图像I²以及它们对应的第一支持帧的建议特征集和第二支持帧的建议特征集

2.根据权利要求1所述的基于特征聚合的视频目标检测方法，其特征在于，获取所述视频的第一帧图像I¹和第二帧图像I²，并通过所述目标检测网络确定所述第一帧图像I¹和第二帧图像I²分别对应的第一支持帧的建议特征集和第二支持帧的建议特征集包括：

将所述第一帧图像I¹和第二帧图像I²分别输入第一网络，分别得到多尺度特征图其中l为尺度，l＝1,2,3，S_l×S_l为特征图在尺度l下的网格数目，D_l为特征图网格在尺度l下的特征维数；

将所述多尺度特征图分别输入第二网络的第一卷积层，所述第一卷积层为每一个网格特征输出3个置信度得分，每一个得分对应一个预设的模板框，通过第一卷积层输出所述多尺度特征图分别对应的得分

将得分P_l¹、P_l²分别输入第二网络的特征提取层，所述特征提取层首先用非极大值抑制方法对得分P_l¹、P_l²进行分别处理，然后提取得分最高的N_l个网格特征，并分别组合为第一支持帧的建议特征集和第二支持帧的建议特征集

保存所述第一帧图像I¹、第二帧图像I²以及它们对应的第一支持帧的建议特征集和第二支持帧的建议特征集

3.根据权利要求2所述的基于特征聚合的视频目标检测方法，其特征在于，将所述第t帧图像输入所述目标检测网络，结合第一支持帧的建议特征集和第二支持帧的建议特征集输出目标检测结果，包括：

将所述第t帧图像I^t输入第一网络，得到多尺度特征图

将多尺度特征图依次输入第二网络的第一卷积层和特征提取层，得到测试帧的建议特征集

将第一支持帧的建议特征集第二支持帧的建议特征集以及测试帧的建议特征集输入第二网络的特征聚合层，得到聚合特征集

将所述聚合特征集输入所述第二网络的第二卷积层，得到目标检测结果。

4.根据权利要求3所述的基于特征聚合的视频目标检测方法，其特征在于，将第一支持帧的建议特征集第二支持帧的建议特征集以及测试帧的建议特征集输入第二网络的特征聚合层，得到聚合特征集包括：

计算自适应权值

其中，k＝1,2,t，1≤i≤N_l

对所述自适应权值进行归一化处理：

计算聚合特征集的第i个聚合特征

得到聚合特征集