[发明专利]基于特征聚合的视频目标检测方法、装置、设备及介质

说明书

本发明实施例涉及目标检测技术领域，公开了一种基于特征聚合的视频目标检测方法、装置、设备及介质。该方法包括：构建目标检测网络；获取视频的第一帧图像和第二帧图像，并通过目标检测网络确定第一支持帧的建议特征集和第二支持帧的建议特征集；将第t帧图像输入目标检测网络，结合第一支持帧的建议特征集和第二支持帧的建议特征集，输出目标检测结果；判断是否根据第t帧图像更新第一帧图像、第二帧图像以及它们对应的第一支持帧的建议特征集和第二支持帧的建议特征集。实施本发明实施例，可以提高目标检测速度。

技术领域

本发明涉及目标检测技术领域，具体涉及一种基于特征聚合的视频目标检测方法、装置、设备及介质。

背景技术

YOLO是一种一阶段的图像目标检测算法，与以Faster RCNN为代表的两阶段检测算法相比，其具有较高的检测速度。虽然YOLO可以直接用于视频目标检测，但其无法利用视频的时间上下文信息，而这部分信息可以有效减轻单帧图片检测中由于物体面积过小，运动模糊，姿态变化等原因导致的误检和漏检，提升算法性能。

现有的视频目标检测方法有基于跟踪、基于光流、基于建议区域特征等多种实现方案，但是，这些方案大多是基于两阶段目标检测算法进行改进，算法速度相对较慢。

发明内容

针对所述缺陷，本发明实施例公开了一种基于特征聚合的视频目标检测方法、装置、设备及介质，能够提升目标检测速度。

本发明实施例第一方面公开一种基于特征聚合的视频目标检测方法，所述方法包括：

构建目标检测网络，所述目标检测网络包括第一网络和第二网络，所述第一网络的输出信息发送至第二网络的输入端，所述第一网络由YOLOv5m网络结构，去除其最后一级的卷积层形成，所述第二网络为特征聚合网络；

获取所述视频的第一帧图像I¹和第二帧图像I²，并通过所述目标检测网络确定所述第一帧图像I¹和第二帧图像I²分别对应的第一支持帧的建议特征集和第二支持帧的建议特征集

将所述第t帧图像I^t输入所述目标检测网络，结合第一支持帧的建议特征集和第二支持帧的建议特征集输出目标检测结果，t≥3；

判断是否根据所述第t帧图像更新所述第一帧图像I¹、第二帧图像I²以及它们对应的第一支持帧的建议特征集和第二支持帧的建议特征集

作为较佳的实施例，在本发明实施例第一方面中，获取所述视频的第一帧图像I¹和第二帧图像I²，并通过所述目标检测网络确定所述第一帧图像I¹和第二帧图像I²分别对应的第一支持帧的建议特征集和第二支持帧的建议特征集包括：

将所述第一帧图像I¹和第二帧图像I²分别输入第一网络，分别得到多尺度特征图其中l为尺度，l＝1,2,3，S_l×S_l为特征图在尺度l下的网格数目，D_l为特征图网格在尺度l下的特征维数；

将所述多尺度特征图分别输入第二网络的第一卷积层，所述第一卷积层为每一个网格特征输出3个置信度得分，每一个得分对应一个预设的模板框，通过第一卷积层输出所述多尺度特征图分别对应的得分

将得分P_l¹、P_l²分别输入第二网络的特征提取层，所述特征提取层首先用非极大值抑制方法对得分P_l¹、P_l²进行分别处理，然后提取得分最高的N_l个网格特征，并分别组合为第一支持帧的建议特征集和第二支持帧的建议特征集