[发明专利]基于稠密轨迹协方差描述子的行为识别方法

说明书

本发明公开了一种基于稠密轨迹协方差描述子的行为识别方法，主要解决现有技术没有考虑不同特征之间的相关性，未能准确描述行为主体运动，导致行为识别准确率低的问题。其实现步骤是：1)提取视频的稠密轨迹，对轨迹立方体中的每个像素点，获取梯度、空间位置以及梯度、光流和运动边界的时间导数并将这些特征作为底层特征；2)获取底层特征集合，对其求取协方差矩阵并投影到欧式空间以获取轨迹子块的描述子；3)串接轨迹子块的描述子，获取基于稠密轨迹的协方差矩阵描述子；4)对协方差矩阵描述子进行BOW编码后利用线性SVM分类模型进行行为识别。本发明提高对行为的描述能力和识别准确率，可用于视频监控的复杂环境。

技术领域

本发明属于视频处理技术领域，特别涉及一种行为识别方法，可用于视频监控复杂环境中对视频行为的描述。

背景技术

在行为识别领域，人工局部特征已经成为一种有效的特征表示方式。局部特征不需要特定的算法来检测人体部位，并且对复杂背景，光照变化和视频噪声等影响具有鲁棒性。

典型的局部特征包括：时空兴趣点STIP、立方体和稠密轨迹，通常与梯度方向直方图HOG、光流方向直方图HOF、3D梯度方向直方图HOG3D、运动边界直方图MBH、和扩展的加速鲁棒特征ESURF等描述子结合使用。

局部特征的提取主要包含两个步骤：首先发掘行为视频中显著和信息丰富的运动区域，然后在运动区域周围提取描述子。在上述人工局部特征中，基于稠密轨迹的特征在各种具有挑战的数据库中获得了较好的性能。事实上，上述描述子均为基于单个特征的1维直方图表示，并没有考虑到不同特征之间的联合统计特性。然而，这些统计特性对于行为识别也许是非常重要的。

目前已提出的获取特征之间相关性的方法有：

(1)Guo K,Ishwar P,Konrad J.Action recognition from video usingfeature covariance matrices[J].IEEE Transactions on Image Processing,2013,22(6):2479-2494，这种方法将协方差矩阵运用到两种局部特征集合，一种来自运动目标的轮廓序列，另一种来自光流，并应用一个稀疏线性表示的框架来实现行为识别。然而，该方法需要对视频进行精确分割，这对真实场景中的视频是非常困难的。

(2)Bilinski P,Bremond F.Video covariance matrix logarithm for humanaction recognition in videos[C]//IJCAI 2015-24th International JointConference on Artificial Intelligence(IJCAI).2015，这种方法在稠密轨迹的基础上，提出视频协方差矩阵对数(VCML)描述子，来模拟不同底层静态特征之间线性关系。该方法虽然考虑到了不同特征之间的关系，但只考虑了静态特征，并未考虑行为主体的动态特征，无法准确描述行为的运动，导致行为识别结果的准确率低。

发明内容

本发明目的在于针对上述已有技术的不足，提出一种基于稠密轨迹协方差描述子的行为识别方法，以获取准确描述视频中行为主体的运动信息，并在此基础上获取不同特征之间的联合统计特性，从而增强对视频行为的描述能力，进一步提高行为识别的准确率。

实现本发明的技术关键是在对底层特征集合求协方差矩阵的过程中不仅以位置信息和梯度作为静态特征，而且计算了梯度、光流和运动边界的时间导数作为运动特征，由此构造了基于稠密轨迹的协方差矩阵描述子，具体步骤包括如下：

(1)对视频序列进行稠密采样，计算采样点处的稠密光流f，设光流阈值为T_flow；