[发明专利]一种基于局部约束低秩编码的人体行为识别方法

说明书

本发明提供了一种基于局部约束低秩编码的人体行为识别方法，包括步骤：1)样本库的特征提取步骤；2)字典生成步骤；3)对待测图像进行特征提取得到特征X，对特征X中的每一列向量都用字典进行线性表达，得到当前的特征X的编码系数Z；4)行为识别步骤：通过步编码系数Z，采用最大池化法计算Z中每一行的最大值，取最大值中的前T个，分别找出这T个值所对应的相应类别，找到该类别在编码系数Z中对应的系数，并把相同类别的系数叠加起来，得到的叠加结果的最大值所对应的类别即为最终的识别结果。本发明在求解编码系数Z时体现了特征的低秩性和局部结构信息，更好地描述行为动作，使得基于局部约束低秩的编码的识别效果更好。

技术领域

本发明属于数字图像处理技术。

背景技术

视频人体行为的分析与表达是计算机视觉领域的一个热门研究领域，其任务主要为从视频序列中检测、提取能够表示人体行为的信息,并进行分类识别，它涉及数学、图像处理和机器学习等多个交叉学科，具有非常重要的理论研究价值和应用前景。但是由于人体行为的多样性和复杂性，因此尽管经历了十多年的研究，人体行为识别仍然难以实际应用到人们的日常生活中。作为人体行为识别的核心，行为的表示依旧存在许多亟待解决的问题。

目前，行为识别效果最好的传统特征是改进的密集轨迹iDT特征。

iDT特征采用密集采样方法，通过划分网格的方式在图片的多个尺度上对特征点进行密集采样。下一步在时间序列上跟踪这些特征点，设上一帧密集采样到的某个特征点坐标为P_t(x_t,y_t)，则该特征点在当前帧的位置通过公式(1)计算。

其中ω_t＝(u_t,v_t)是密集光流场，由上一帧图像I_t和当前帧图像I_t+1计算得到，u和v分别表示光流的水平分量和垂直分量，t为时间变量。M表示中值滤波器，大小为3*3。所以公式(1)是通过计算特征点邻域内的光流来获得特征点的运动方向。

通过公式(1)的计算，就会获得某个特征点在连续的L帧图像上的位置，这些位置构成了一段轨迹(P_t,P_t+1,...,P_t+L)，轨迹是人体行为的一个有效表示，因此后续的特征提取都是沿着各个轨迹进行的。因为跟踪特征点会存在一定的漂移现象，所以在L帧之后要对特征点进行一次重新采样。在iDT算法中，取L＝15。另外，轨迹本身也可以作为行为特征描述子，对于一段长为L的轨迹，其形状可以表示为(ΔP_t,...,ΔP_t+L-1)，其中ΔP_t＝(P_t+1,P_t)＝(x_t+1-x_t,y_t+1-y_t)。对轨迹形状进行归一化后得到轨迹的描述子T，归一化的公式如公式(2)所示。

为了能够充分利用视频中人体行为的信息，在得到人体行为的轨迹之后，我们在视频轨迹周围进一步提取运动描述子和结构描述子等更加有力的特征来描述人体行为。在每一帧图像的轨迹特征点周围取一块N×N的区域，构成一个时间-空间立方体。对这个时空立方体，再进行一次网格划分，空间上每个方向划分为n_σ份，时间上均匀划分为n_τ份。最后在n_σ×n_σ×n_τ块区域内提取特征。在iDT算法里，N＝32，n_σ＝2，n_τ＝3。

结构描述子主要为梯度直方图HOG。运动描述子主要采用光流直方图HOF和运动边界直方图MBH。

HOG特征：HOG特征计算的是灰度图像梯度的直方图。直方图的bin数目取8。