[发明专利]一种基于深度时空图的人体行为识别方法及系统

说明书

本发明属于图像数据处理技术领域，公开了一种基于深度时空图的人体行为识别方法及系统,通过构建3D人体面具获取主要活动部位的深度数据，去除数据中的冗余信息；将深度帧投影到三个正交轴上得到与每个轴相对应的分布列表，二值化分布列表后按时序拼接生成深度时空图DSTM(Depth Space‑Time Maps)；对DSTM提取方向梯度直方图(HOG)特征用于行为识别。实验表明本发明能有效提高人体行为识别的准确性；解决了当前基于深度序列的人体行为识别方法中存在的冗余数据过多、时序信息缺失等问题。

技术领域

本发明属于图像数据处理技术领域，尤其涉及一种基于深度时空图的人体行为识别方法及系统。

背景技术

目前，业内常用的现有技术是这样的：

人体行为识别研究有着广泛的人机交互应用，包括体感游戏，智能监视系统等。人体行为识别最初使用彩色摄像机捕捉人体的视频序列。文献引入运动能量图(motionenergy images，MEI)与运动历史图(motion history images，MHI)作为时空模板，模拟视频序列中人体行为的空间与时序特征。文献提出了一种用于计算MHI密集运动流的分层扩展算法。基于彩色图像序列的人体行为识别算法主要缺点是对光照变化敏感，大大地限制了识别的稳健性。

随着成像技术的发展，特别是微软体感设备Kinect推出，使得基于深度图像序列的人体行为识别研究成为可能。相比于彩色序列，深度序列优势明显。深度序列可以提供信息更为丰富的3D人体数据,并且深度序列对光照条件不敏感，相较于彩色序列深度序列更容易进行前景提取和获取人体目标部位的信息。至今已经探索了多种深度序列的表示方法，包括3D点、时空深度长方体、深度运动图(depth motion maps，DMM)、表面法线、骨骼关节等。

文献将深度图投影到三个正交平面上，通过累积整个视频序列的全局活动信息生成DMM，使用三张2D灰度图片表征整个深度视频序列，并计算DMM的梯度直方图作为特征进行分类。在DMM基础上，结合使用局部二进制模式(local binary patterns，LBP)获取更为紧致的特征表示。DMM能较好的表征人体行为的深度图序列，但同样存在着一些不足。首先人体行为有时只是某些主要部位的运动，使用整个人体的深度数据进行行为识别，无疑会产生大量的冗余信息，影响识别精度。DMM为了减少冗余，对深度帧进行了图片差分，在此基础上进行能量累积。但是由于主要运动部位以外的人体无法保证完全的静止，所以效果并不理想。其次DMM无法描述人体行为的时序性，只是对人体时空行为的一种静态描述。所以DMM无法区分正放与倒放行为，即一组轨迹相同时序相反的行为对，例如抬手与放手。

综上所述，现有技术存在的问题是：

(1)当前基于深度序列的人体行为识别方法中的冗余数据过多，不仅包含目标部位的深度信息，而且包含大量对行为识别无用的静止部位深度信息，严重地影响了识别精度。

(2)当前深度序列的特征图时序信息缺失，无法识别一组轨迹相同时序相反的行为对，例如抬手与放手。

(3)当前深度序列的特征图无法兼顾行为的空间信息与时序信息。

解决上述技术问题的难度和意义：

难度：正放、倒放行为是一组空间上轨迹相同，时序相反的行为对，所以要求用来描述的整个深度序列的行为特征不仅能反映出行为的空间信息，也要能够反映出行为的时序信息。这是现有技术比较难解决的问题。

意义：本发明通过生成三张DSTM特征图并在此基础上提取HOG特征，很好的实现了这一要求。DSTM特征图相较于MEI蕴含了更为丰富的空间信息，相较于MHI不仅蕴含了更为丰富的空间信息而且拓展了时序信息，相较于DMM在保留了较高的空间信息的同时，加入了时序信息，实现了空间信息与时序信息的兼顾。本发明在识别正放倒放行为对上有着优势明显。

发明内容