[发明专利]一种基于局部时空特征的人体行为识别方法

权利要求书

1.一种基于局部时空特征的人体行为识别方法，其特征在于，包括以下步骤：

步骤S1：输入数据集，即骨骼视频序列S；

步骤S2：为骨骼视频序列S中的每一个行为的每一帧提取位移矢量特征(f₁,f₂,f₃)，相对位置特征(f₄,f₅,f₆,f₇)，关节夹角特征f₈，从而构建局部时空特征f_n,s，其中n∈{1,...,8}，s表示每个行为所划分的帧数；

步骤S3：使用不同初始值的K-means聚类算法对每一组局部特征序列f_n,t聚类C次，其中t∈{1,...,s}，C为一个常数，S为每个动作行为划分的帧数，对于每一组局部特征就获得C*k个集群μ_n,c,m，其中n∈{1,...,8},c∈{1,...,C},m∈{1,...,k}，k表示聚类中心的个数；

步骤S4：对步骤S3聚类得到的每一个集群μ_n,c,m运用VLAD局部聚合描述符算法将局部特征聚合成特征向量ν_n,c,m，并将ν_n,c,m进行幂律归一化处理，将所有集群归一化后得到的特征向量进行级联得到最终的局部特征向量F_n,c；

步骤S5，将局部特征向量F_n,c与LMNN最大边界近邻算法结合进行度量学习，LMNN算法设计一个最小化目标函数来提高特征类内聚合度和类间离散度，并且降低特征维度；

步骤S6：采用K-NN分类算法进行特征向量的训练，其中使用5-折叠交叉验证法和使用留一交叉校验法进行训练数据集和测试数据集的划分和验证；

步骤S7：输出分类识别结果。

2.根据权利要求1所述的一种基于局部时空特征的人体行为识别方法，其特征在于，所述步骤S2为骨骼视频序列S中的每一个行为的每一帧提取位移矢量特征(f₁,f₂,f₃)，具体包括：

首先获取人体关节点的空间三维坐标，然后根据相邻两帧的坐标信息变化计算出每一帧人体骨骼关节点位移矢量，计算公式为：其中是序列索引s中关节i的坐标(x,y,z)，△T是两个序列s+1和s-1之间的时间间隔，τ是给定序列中的骨架(帧)的数量采取从人体中心逐渐分割到四肢的方式构造三个特征。

3.根据权利要求1所述的一种基于局部时空特征的人体行为识别方法，其特征在于，所述步骤S2为视频序列中的每一个行为的每一帧提取相对位置特征(f₄,f₅,f₆,f₇)，具体包括：首先要获取人体关节点的空间三维坐标，然后根据同一骨架的不同关节的坐标计算出每一帧人体骨骼关节点相对位置，计算公式为：其中和是来自同一骨架的不同关节的坐标(x,y,z)采用身体部位的脊椎、右髋、左髋、头部相对于身体的其他部位构造四个特征。

4.根据权利要求1所述的一种基于局部时空特征的人体行为识别方法，其特征在于，所述步骤S2为视频序列中的每一个行为的每一帧提取关节夹角特征f₈，具体包括：首先获取人体关节点的空间三维坐标，然后根据同一骨架的不同关节的坐标计算出每一帧人体骨骼关节点关节夹角，计算公式为：其中θ_i,s为s帧中第i个关节角，“·”为向量的内积，“| |”表示向量的模，将得到的关节夹角值归一化到[-1,1]，计算公式为：θ'_i,s＝||θ_i,s||∈[-1,1]，其中“|| ||”表示归一化处理，根据人体表征布局方式，结合人体运动规律定义6个最具代表性的人体关节角，其中θ₁、θ₂、θ₃、θ₄、θ₅、θ₆，分别表示左手与左肘、右手与右肘、左腕与左髋、右腕与右髋、左脚与左髋、右脚与右髋形成的夹角。