[发明专利]一种视频中语义事件检测方法及系统

说明书

技术领域

本发明涉及视频内容分析技术领域，特别是涉及一种视频中语义事件检测方法及系统。

背景技术

伴随着数字视频技术的发展，视频内容分析技术变得越来越重要。视频中的语义概念包括物体、场景、事件等各种类型。检测需要利用不同模态的信息，例如关键帧图像、音频等可以用于检测出现在视频中包含的语义概念。利用运动信息的最基本工作就是在视频中提取运动特征，包括摄像机运动估计和视频中运动对象分割。这对于视频中的事件语义概念，例如行走、暴力和游行等都有很好的检测效果。多数现有的关于语义事件检测的工作都是基于对视频关键帧的图像特征分析。这意味着提取此类特征需要消耗大量的计算资源在特征计算上。对于大规模的视频数据集，我们需要更加有效的方法，例如我们可以直接使用压缩域的信息用于运动分析和语义事件检测。

近几年已经有直接使用压缩域信息的工作，包括直接利用运动矢量和离散余弦变换(DCT)系数，这些工作主要是为了节省反余弦变换(IDCT)的计算以及节省运动补偿的计算。然而，这些方法仍然存在很多问题：首先，对于帧间编码的宏块，其DCT系数不是根据真实的象素值计算得出，而是根据当前宏块与其参考帧宏块的差值得到的；其次，在视频码流中有很多帧内编码的宏块，这些宏块无法提供运动信息，特别是码流中的I帧，其整个帧内的宏块都为帧内编码；最后也是最重要的，很多宏块包含有大量的噪声，MPEG视频码流中的运动矢量是根据编码过程中的快速宏块匹配算法计算出来的，其计算误差较大，并且其计算结果有可能不能真正反映宏块的运动信息，特别是对于纹理不是很明显的区域。解决好以上问题对直接使用压缩域的运动信息是非常重要的。

多数运动分析方法中采用6参数的仿射模型或者8参数的射影模型来估计摄像机运动方式，这些方法运算复杂度较大。

发明内容

本发明的目的在于提供一种视频中语义事件检测方法及系统，其能更准确、高效地检测视频中的语义事件概念。

为实现本发明的目的而提供的一种视频中语义事件检测方法，包括下列步骤：

A.运动矢量归一化及噪声运动矢量过滤；

B.摄像机运动估计；

C.运动对象分割；

D.语义事件检测。

所述步骤A还进一步包括步骤：

A1.根据帧类型归一化运动矢量；

A2.利用经验规则过滤噪声运动矢量。

所述归一化运动矢量，是指将运动矢量除以该运动矢量所在帧与参考帧之间的帧距离。

所述步骤A1还进一步包括步骤：

A11.对于后向预测的宏块，将其取反向作为该宏块的运动矢量；

A12.对于双向预测的宏块，先将后向预测宏块取反向之后，再与前向预测宏块取平均，该平均值作为该双向预测的宏块的运动矢量；

A13.对于I帧的宏块，从以该I帧为参考的相邻B帧中获取运动信息，估计I帧宏块的运动。

所述步骤A13，将在所在I帧最相邻的B帧中寻找将I帧中宏块作为参考宏块的B帧宏块，并将该B帧宏块运动矢量取反方向作为I帧宏块的运动矢量。

所述步骤A13，多个B帧宏块将I帧宏块作为参考宏块，则取其中参考区域与I帧宏块重叠最多的B帧宏块的运动信息取反方向作为I帧宏块的运动矢量。

所述步骤A13，对于没有作为任何B帧参考宏块的I帧宏块，将其作为帧内编码宏块处理。

所述经验规则是指某些方法的参数是通过人工试验得到的。

所述噪声是指有些宏块的运动矢量不能反映实际画面中的运动情况。

所述步骤A2中，利用MPEG码流中的直流分量和运动矢量信息过滤噪声运动矢量。

所述步骤A2中，对于满足以下情况的宏块将被标记为包含噪声运动矢量的宏块：

A21.当前宏块的运动矢量明显区别于相邻宏块的运动矢量；

A22.当前宏块内的4个8*8块的直流分量几乎相同；

A23.与当前宏块相邻的8个宏块中有一半以上宏块内的直流分量与当前宏块内的直流分量相近。

所述步骤B还进一步包括步骤：

B1.判断是否为摄像机静止的帧；

B2.判断是否为摄像机平移的帧；

B3.判断是否为摄像机变焦的帧；

B4.判断是否为摄像机旋转的帧；

B5.如果上述B1～B4判断的结果都为否，则该帧标识为不规则运动的帧。