[发明专利]一种基于时空约束的视频显著性检测方法及系统

说明书

本发明适用于视频检测领域，提供了视频显著性检测方法，包括：对待检测当前帧进行超像素分割得到超像素分割后的当前帧，根据当前帧和上一帧，计算光流场运动估计并计算得到运动分布能量和运动边缘能量，根据当前帧和上一帧计算运动历史能量，并由上述特征和上一帧的显著图生成混合运动能量图；获得混合运动能量图的初始目标分割区域并提取可靠目标区域和可靠背景区域，根据可靠目标区域、可靠背景区域和混合运动能量图构建显著性全局优化模型并求解，当前帧的显著图。本发明实施例采用区域层的运动分布能量、边缘层的运动边缘能量、像素层的运动历史能量和上一帧显著图等多种运动特征和空间特征，增强了显著性检测的鲁棒性和稳定性。

技术领域

本发明属于视频技术领域，尤其涉及一种基于时空约束的视频显著性检测方法及系统。

背景技术

显著性检测旨在预测视觉上相对引人注意的区域，其在视频分类、视频检索、视频摘要、场景理解、目标跟踪等领域有广泛的应用，是计算机视觉的基础和关键问题。由于运动信息是视频显著性检测的重要线索，因此不同于静态图像显著性检测只考虑空间信息，视频的显著性检测要同时考虑运动信息和空间信息。

如何提取显著目标的运动信息是视频显著性检测的关键问题。目前，大多数方法采用光流场估计显著目标的运动，然而光流场对于光照变化和局部扰动非常敏感，导致不稳定的运动估计结果；另外一些方法采用边缘检测和运动连续性来估计目标的运动，但在复杂背景下的鲁棒性不足。

此外，如何根据运动信息和空间信息建立整体的显著性检测框架是视频显著性检测的另一个重要议题。目前，大多数方法首先提取视频空间信息和运动信息，然后分别建立空域显著图和时域显著图，进而将两者进行线性融合或动态融合作为视频显著性检测结果。这种框架没有将运动信息和空间信息实质性的进行融合，而只是将运动信息生成的显著图作为空域显著图的先验信息或补充信息，在面对复杂场景时不能完整地凸显显著目标和有效抑制复杂背景。

发明内容

本发明所要解决的技术问题在于提供一种基于时空约束的视频显著性检测方法及系统，旨在解决现有视频显著性检测方法在复杂场景下鲁棒性不足的问题。

本发明是这样实现的，一种基于时空约束的视频显著性检测方法，包括：

对待检测视频的待检测当前帧进行超像素分割，得到超像素分割后的当前帧和超像素集合；

根据所述当前帧和所述当前帧的上一帧，计算光流场运动估计；

根据所述光流场运动估计计算所述当前帧的运动分布能量和运动边缘能量；

获取所述上一帧的显著图；

根据所述当前帧和所述上一帧，计算运动历史能量；

根据所述上一帧的显著图、所述运动分布能量、所述运动边缘能量和所述运动历史能量生成混合运动能量图；

获得所述混合运动能量图的初始目标分割区域，从所述初始目标分割区域中提取可靠目标区域和可靠背景区域；

根据所述可靠目标区域、所述可靠背景区域和所述混合运动能量图构建时空约束的显著性全局优化模型，求解所述显著性全局优化模型得到所述当前帧的显著图。

进一步地，所述获取所述上一帧的显著图之前，还包括：

判断所述上一帧是否为所述待检测视频的第一帧；

若是，则根据所述运动分布能量、所述运动边缘能量和所述运动历史能量生成混合能量运动图；

若否，则执行所述根据所述上一帧的显著图、所述运动分布能量、所述运动边缘能量和所述运动历史能量生成混合能量运动图的步骤。

进一步地，所述对待检测视频的待检测当前帧进行超像素分割，得到超像素分割后的当前帧包括：