[发明专利]一种基于深度时空图的人体行为识别方法及系统

权利要求书

1.一种基于深度时空图的人体行为识别方法，其特征在于，所述基于深度时空图的人体行为识别方法包括：

第一步，通过构建人体的3D面具获取主要运动部位的深度信息；

第二步，将深度序列每一帧投影到三个正交的笛卡尔平面上，得到每个视角的2D地图，再将2D地图投影到行为空间的三个正交轴上，得到各个轴上的1D列表，将这些1D列表二值化处理后按时序拼接生成深度时空图DSTM；

第三步，对每张深度时空图DSTM提取HOG特征连接后送入分类器进行人体行为识别；

将深度帧投影到三个正交的笛卡尔平面中，每个3D深度帧根据前视图，侧视图和俯视图生成三个2D地图，表示为map_f、map_s、map_t；选择使用其中的两张地图继续向正交轴上投影，求取2D地图的行和与列和列表sum_a，其中a∈{d，w，h}；将和列表sum_a经过二值化处理后生成与宽度轴、高度轴以及深度轴对应的三个1D分布列表，表示为list_w、list_h、list_d；计算公式如下：

其中list_a[i]表示a轴上分布列表的第i个元素；sum_a[i]为与a轴对应的和列表第i个元素；ω表示二值化阈值，通过参数实验进行选取；

1D分布列表生成方式由map_t的行和得到，或由map_s的列和得到；对于有N帧的深度视频序列，深度时空图DSTM的计算公式如下：

其中表示深度图序列第x帧在a轴上的1D分布列表；DSTM_a[x]表示DSTM_a的第x行。

2.如权利要求1所述的基于深度时空图的人体行为识别方法，其特征在于，

所述第二步生成深度时空图DSTM后，对所述深度时空图DSTM感兴趣区域(region ofinterest，ROI)处理，即根据设定感兴趣区域，对图片进行裁剪与大小归一化操作。

3.如权利要求1所述的基于深度时空图的人体行为识别方法，其特征在于，

第三步，进一步包括：通过计算和统计图像局部区域的梯度方向直方图构成HOG特征；在均匀间隔的单元密集网格上计算梯度方向的统计直方图并进行归一化处理；对直方图统计量采用L2范数归一化方法；对于每张深度时空图，选取10*10像素的图片单元分割图像；每2*2个图片单元构成一个图像块，以10像素为步长滑动图像块，生成每个图像块内各个图像单元的梯度直方图统计量；

对于每个图像单元的梯度分布，按梯度方向分为8份，以梯度大小为权重生成直方图统计量；

将三张深度时空图的HOG特征连接形成最终的DSTM-HOG特征，并输入分类器实现人体行为识别。

4.一种终端，其特征在于，所述终端至少搭载实现权利要求1～3任意一项所述基于深度时空图的人体行为识别方法的控制器。

5.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-3任意一项所述的基于深度时空图的人体行为识别方法。

6.一种实现权利要求1所述基于深度时空图的人体行为识别方法的基于深度时空图的人体行为识别系统，其特征在于，所述基于深度时空图的人体行为识别系统包括：

运动部位深度信息获得模块，用于通过构建人体的3D面具获取主要运动部位的深度信息；

DSTM生成模块，用于将深度序列每一帧投影到三个正交的笛卡尔平面上，得到每个视角的2D地图，再将2D地图投影到行为空间的三个正交轴上，得到各个轴上的1D列表，将这些1D列表二值化处理后按时序拼接生成DSTM；

人体行为识别模块，用于对每张DSTM提取HOG特征连接后送入分类器进行人体行为识别。

7.一种人体行为图像数据处理设备，其特征在于，所述人体行为图像数据处理设备至少搭载权利要求6所述的基于深度时空图的人体行为识别系统。