[发明专利]基于方向性共同发生特征的人体行为分类识别方法及系统

说明书

技术领域

本发明属于机器视觉中的目标识别和智能人机交互技术领域，具体涉及一种鲁棒的基于方向性共同发生特征的人体行为分类识别方法。

背景技术

人体行为分析早在二十世纪三十年代就开始了。但早期较成功的研究还主要是集中于对刚体运动的研究上。五十年代左右，对非刚体的研究逐渐兴起。尤其是人体运动分析，其在智能视频监控、机器人控制、人机交互等方面具有广泛的应用前景，激发了世界范围内的广大工作者的研究兴趣。

在现实场景中，人体行为识别尤其是分类具有众多难点：人体运动的执行者经常是处于不同的年龄阶段、拥有不同的外表，同时，运动速度和时空变化程度都因人而异；不同的运动看上去有很大的相似性，即类间相似，这是与上面提到的类内多样性相对的一种困难情况；同时人体行为分类面临众多图像处理的经典难点问题，如人体遮挡，室外场景中存在阴影，光照变化以及人群拥挤等。面对这些困难，如何实现鲁棒的人体行为分类，从而应用于真实场景中的智能监控，具有重要的研究意义。

人体行为描述方法分为两大类：全局特征和局部特征。全局特征即将人体行为视为一个整体提取得到运动描述，是一种自顶向下的过程。全局特征描述是一种很强的特征，能编码运动的大部分信息。然而，全局特征对视角、遮挡、噪声都极其敏感，并且，提取全局特征的前提是能很好的分割运动前景。这对复杂场景下的人体行为描述要求的预处理过程极为苛刻。考虑到全局特征的不足，针对复杂场景下的人体行为描述，局部特征被提出，作为全局特征的补充。局部特征的提取是一种自底向上的过程：首先检测时空兴趣点，然后在这些兴趣点周围提取局部纹理方块，最后将对这些方块的描述结合起来组成最终描述子。由于词袋模型（bag of visual words model）参见J.C.Niebles,H.Wang,and L.Fei-Fei,“Unsupervised learning of human action categories using spatialtemporal words,”in BMVC,vol.3,pp.1249-1258,2006。）的提出，使得利用局部特征进行人体行为分类的框架被广泛采用。局部特征与全局特征不同，其对噪声和部分遮挡的敏感性较低，并且局部特征的提取不需要前景分割和跟踪的过程，因此能很好的适用于复杂场景中的人体行为分析。由于局部特征点忽略了点跟点之间的全局约束关系，因此需要更高一层的空间关系描述来提升现有的词袋模型分类效果。

发明内容

本发明针对上述问题，提出一种基于方向性共同发生特征的人体行为分类识别方法，使用局部特征点并通过描述特征点之间的空间结构关系来建立人体行为模型，最终实现人体行为分类和识别。本发明通过描述局部特征点对之间的方向信息有效提升了传统方法的准确率和鲁棒性。

本发明采用的技术方案如下：

一种基于方向性共同发生特征的人体行为分类识别方法，其步骤如下：

1）在视频序列中检测人体目标；

2）对包含人体目标的时空域提取时空兴趣点；

3）提取时空兴趣点的HOG和HOF特征，并将时空兴趣点聚类成若干类别；

4）对于具有不同类别标签的时空兴趣点对，统计其出现在相同帧时的方向信息；

5）利用所述方向信息统计方向性时空点对特征直方图，得到针对输入视频的特征描述；

6）利用词袋模型将局部特征的个数直方图分布作为整体的特征表达，将该词袋模型中的直方图特征换成由步骤1）～5）得到的方向性时空点对特征直方图，针对不同类别行为进行训练，得到不同行为类别对应的特征描述；

7）当输入测试视频时，根据步骤1）～5）提取得到该视频的特征描述，然后与步骤6）得到的不同类别行为的特征描述模板进行最近邻匹配，匹配度最高的即为该视频对应的行为类别。

更进一步，所述人体行为分类是针对视频中能够检测出的人体行为进行的，提取的时空兴趣点指的是时空域中灰度变换剧烈的点。

更进一步，时空兴趣点对的方向性指的是两点在空间中的上下或左右关系，并且优先考虑点对间的上下关系，当两点空间中的垂直距离小于一定阈值时，考虑左右关系；当两点空间中的水平距离也小于一定阈值时，在统计方向性时空点对特征直方图时舍弃该点对。

更进一步，使用均值聚类或其他聚类方法对时空兴趣点进行聚类，时空兴趣点的聚类个数优选为400～1000。

本发明还提出一种采用上述方法的基于方向性共同发生特征的人体行为分类识别系统，其包括：

视频输入端，包括可获取视频序列的摄像设备；