[发明专利]一种基于滑动窗口局部匹配窗口的动作识别方法

摘要

一种基于滑动窗口局部匹配窗口的动作识别方法，包括如下步骤1)从立体相机中获得场景中人的深度图序列，从深度图中提取出3D关节点的位置，用姿态之间的3D位移差作为每帧深度图的特征表达；2)用聚类方法对训练集中的描述子进行学习，得到特征集合，并用它对每个描述子进行特征表达，从而得到每帧图像的编码表示；3)采用基于滑动窗口的局部匹配模型，对整个动作图像序列进行动作片段划分，并得到每个动作片段的特征直方图表达；4)用一个长向量把所有片段的特征直方图表达串联起来，就是整个动作的特征表达。本发明有效识别相似的动作、识别率较高。

主权项

一种基于滑动窗口局部匹配窗口的动作识别方法，其特征在于：包括如下步骤：1)从立体相机中获得场景中人的深度图序列，从深度图中提取出3D关节点的位置，用姿态之间的3D位移差作为每帧深度图的特征表达；2)用聚类方法对训练集中的描述子进行学习，得到特征集合，并用它对每个描述子进行特征表达，从而得到每帧图像的编码表示；3)采用基于滑动窗口的局部匹配模型，对整个动作图像序列进行动作片段划分，并得到每个动作片段的特征直方图表达；基于滑动窗口的局部匹配模型的特征匹配过程如下：假设训练集中学习得到的特征码本个数为M，每个动作序列经处理后包含n帧深度图像，同时假定滑动窗口的尺寸为w，每次移动步长为l，则表示整个动作的特征向量的维度为4)用一个长向量把所有片段的特征直方图表达串联起来，就是整个动作的特征表达；所述步骤2)中，采用局部训练，首先用K‑means聚类方法单独对每一类动作的训练集训练得到特征集合，然后将从所有动作集中学习得到的特征集合组成能够表征整个训练集的动作特征集合，最后将每类动作映射到训练得到的动作特征集合，得到每一类动作模型的特征直方图分布图；所述步骤2)中，对每一个姿态描述子进行量化编码，令P为从动作序列中获得的姿态特征描述子，每个特征描述子的维度为D，总共有N个特征，则令训练得到的码本有M个码字，即编码方式如下：其中，C＝[c1,c2,...cm]表示对应特征码字集F的权值，*表示元素间相乘，di是局部适配因子，选取di为非线性的表达式，同时引入了最近相似距离distMin作为参考；di=exp(-((dist(pi,F)-distMin)/distMin)22σ2)---(2)]]>其中，dist(pi,F)＝[dist(pi,f1),dist(pi,f2),…,dist(pi,fM)]，dist(pi,fj)表示pi和fj之间的欧拉距离，σ为用于调节权重的系数；distMin＝min{dist(pi,f1),dist(pi,f2),…,dist(pi,fM)}；所述步骤4)中，假设训练集中的动作序列X分成了p个片段,对应的动作片段特征表达为H0(X),H1(X)…,Hp‑1(X)，则整个动作X的特征表达为：H(X)＝[H0(X),H1(X)…,Hp‑1(X)]；当有新的动作序列Y等待分类时，首先进行特征提取，用特征重构方法得到特征词汇表达；然后动作片段划分，用基于滑动窗口的局部匹配模型得到对应片段的特征表达，H0(Y),H1(Y)…,Hp‑1(Y)；最后依次连接局部特征表达，整个动作Y的特征表达为H(X)＝[H0(Y),H1(Y)…,Hp‑1(Y)]；在分类过程中，通过直方图相交操作进行测试序列与训练集各类动作的相似度衡量：Γ(H(X),H(Y))=Σj=1Mmin(H(X)j,H(Y)j)---(3)]]>从而确定动作序列Y的分类；所述步骤3)中，步长l和窗口尺寸w的选择应满足以下条件：14≤wn≤1313≤lw≤23---(4).]]>