[发明专利]基于SSD网络的视频目标检测方法及装置

说明书

本发明实施例提供一种基于SSD网络的视频目标检测方法及装置，该方法包括：将待检测视频的当前帧和邻近帧，分别输入至预设的SSD网络模型的低层卷积进行特征提取；通过光流网络获取每一邻近帧和当前帧的光流场；根据每一邻近帧特征提取后的低层特征和当前帧的光流场，获得当前帧的多个光流补偿特征；根据当前帧的低层特征和多个光流补偿特征，进行特征融合，得到当前帧的时间融合特征；将当前帧的时间融合特征输入高层卷积进行特征提取，输出当前帧的检测结果。该方法充分考虑到与当前帧有时间关联的邻近帧以及之间的光流场，从而不受视频中目标、背景的不断变化造成的模糊、光照变化和目标变化等情况影响，能够显著提高视频的目标检测精度。

技术领域

本发明涉及图像识别领域，尤其涉及一种基于SSD网络的视频目标检测方法及装置。

背景技术

目标检测是计算机视觉领域中一个基础性的研究课题，相关研究工作一直是计算机视觉的研究热点。目标检测的任务是准确判断目标在图像中的类别和位置，而视频目标检测要求对视频中的每一帧图像的目标都能正确识别和定位，同时保证目标检测的一致性。在目标检测领域，静态图像目标检测已取得了快速的进展。

例如目前的单发多目标检测器(Single Shot MultiBox Detector，SSD)，该方法将候选区域提取和检测融合到一个网络模型中，利用卷积神经网络对图像提取出多个不同尺度的特征，通过检测网络得到最终的检测结果，提高了检测效率。

由于视频中目标、背景的不断变化，会造成模糊、光照变化、目标变化等情况，因此利用SSD网络对视频进行目标检测无法得到较高的准确率。

发明内容

为了解决上述问题，本发明实施例提供一种基于SSD网络的视频目标检测方法及装置。

第一方面，本发明实施例提供一种基于SSD网络的视频目标检测方法，包括：将待检测视频的当前数据帧和邻近帧，分别输入至预设的SSD网络模型的低层卷积，进行特征提取；通过光流网络获取每一邻近帧和当前帧的光流场；根据每一邻近帧特征提取后的低层特征和当前帧的光流场，获得当前帧的多个光流补偿特征；根据当前帧的低层特征和所述多个光流补偿特征，进行特征融合，得到当前帧的时间融合特征；将所述当前帧的时间融合特征，输入高层卷积进行特征提取，输出当前帧的检测结果；其中，所述SSD网络模型根据带有目标类别和坐标位置标签的视频样本进行训练后得到。

进一步地，所述根据当前帧的低层特征，和所述多个光流补偿特征，进行特征融合，包括：计算当前帧的低层特征，分别和所述多个光流补偿特征的余弦相似度，并进行归一化；根据归一化的余弦相似度，对当前帧的低层特征和所述多个光流补偿特征进行加权，得到当前帧的时间融合特征。

进一步地，所述将所述当前帧的时间融合特征，输入高层卷积进行特征提取之后，所述输出当前帧的检测结果之前，还包括：利用高层卷积得到的特征依次进行上采样，得到与每个不同尺度的低层特征相同维度的待融合特征；将每个不同尺度的低层特征与待融合特征进行特征融合后进行检测。

进一步地，将待检测视频的当前数据帧和邻近帧，分别输入至预设的SSD网络模型的低层卷积之前，还包括：获取多个已知目标类别和坐标位置的视频数据的和图片数据，得到第一训练集样本；利用所述第一训练集样本对所述SSD网络模型的多个卷积层进行训练，直至收敛或到达最大迭代次数；获取多个已知目标类别和坐标位置的视频数据，得到第二训练集样本；对于每一第二训练样本，将当前帧和邻近帧，对加入光流网络的SSD网络模型进行训练，直至收敛或到达最大迭代次数。

进一步地，所述根据每一邻近帧特征提取后的低层特征和当前帧的光流场，获得当前帧的多个光流补偿特征，包括：根据每一邻近帧特征提取后的低层特征和当前帧的光流场，通过双线性插值函数，获得当前帧的多个光流补偿特征。

进一步地，所述SSD网络模型为加入ResNet101网络构建得到。