[发明专利]基于关键帧和随机森林回归的人体上半身动作识别方法

权利要求书

1.一种基于关键帧和随机森林回归的人体上半身动作识别方法，其特征在于具体实现步骤如下：

步骤1、利用Optitrack和Kinect v2取得人体上半身关节坐标,使用OptiTrack全身动作捕捉系统的12个FLEX:V100R2镜头，利用OptiTrack得到上半身关节坐标，分别计算关节点坐标，并转换到Kinect v2的骨骼坐标系；OptiTrack采样频率设置为90FPS；Kinect v2同时采集人体上半身关节坐标；

步骤2、提取特征值，指的是提取更精确的OptiTrack得到的人体上半身关节坐标。上半身的动作主要姿势由Wrist、Elbow、Spine_shoulder、Spine_mid、Head决定，特征点仅考虑7个节点；选择Spine_mid为中心节点，选择Spine_mid到Spine_shoulder的向量作为中心向量，Spine_mid到各节点的向量作为一类特征值，用L_j示，向量的长度D_j用于相对归一化，中心向量与其他向量的夹角作为另一类的特征值，用θ_k表示；

步骤3、特征向量的相对归一化，设置标准帧，即AP聚类获得一组关键帧的第一个帧，用非0的常规归一化最大值，对各帧的节点距离归一化，再用相对归一化以标准帧为基准，量化以后各帧与标准帧的相对变化；

步骤4、AP聚类算法获得关键帧，采用AP聚类算法自动进行聚类，将每帧图像作为AP聚类算法中的一个数据点，将每帧图像中的特征向量和特征角度作为这个数据点的度量信息，包括6个向量特征值，5个向量之间的夹角特征值；根据特征向量的大小和特征向量之间的角度差作为度量的准则；阻尼系数设为0.5，并且设置50次迭代后聚类中心不变，或迭代次数超过既定的次数5000次，则算法结束，将相近的帧归为一类；

通过AP聚类算法的提取方式，无论动作快慢，关键帧帧数不变，从OptiTrack取得的一个关键帧表示为FO，一个动作的关键帧序列用fo表示，由m个FO组成：fo＝(FO₁,FO₂,...,FO_m)；另一部分是从Kinect v2取得的一个关键帧表示为FK，一个动作的帧序列用fk表示，由m个FK组成：fo＝(FK₁,FK₂,...,FK_m)；FK的帧数要除以3；提取的所有关键帧(包括从OptiTrack取得的关键帧和从Kinect v2取得的关键帧)作为随机森林离线训练的样本源，对其中每个关键帧做标记，用τ表示，每个标记由动作代码和本动作关键帧的顺序号组成，如动作A的第3个关键帧，标记表示为A003；

步骤5、设置随机森林回归模型,用随机的方式组合多棵决策树形成随机森林，采用的决策树视为一个弱回归器，是独立生长的二叉树,全部训练样本集T中，利用Bootstrap方法重采样技术(放回抽样)，随机抽取K个子样本生成子样本集T_tk，形成K个决策树组成的随机森林；在每个T_tk进行训练时，再随机选取若干个属性值进行节点变量分裂，随机抽取的特征个数为U为特征总数；最终形成一个多元非线性回归组合；训练结束后，输入测试样本，对各个回归树进行测试，最终预测结果就是全部回归树输出值的平均值；

训练样本集分为训练样本和测试样本，其中训练样本来源包括两部分，一部分是FO，另一部分是FK，二者共同组成集合F，由n组fo和fk组成本发明设置两个随机森林回归模型，第一个随机森林回归模型A(以下称为RFRA)预测每张FK和FO的差异，然后根据差异修复FK的姿势；第二个随机森林回归模型B(以下称为RFRB)预测FK对应的姿势标记，测试样本为若干组fk；

步骤6、使用RFRA做姿势修正；每个动作的一组FO以第一个FO的向量L_j-1st和特征值θ_k-1st为模板，每个FK的向量L_j'和特征值θ_k'与相对应的FO的向量L_j和特征值θ_k的差异分别为是和对于一个帧有两组特征值差异组成Δ；对于一个动作的m帧图像则有一组差异，表示为δ＝(Δ₁,...,Δ_m)；

每个训练样本是一对FK和Δ，训练集记为TA＝{FK_i,Δ_i}，利用RFRA预测样本的Δ，继而根据Δ估计出正确的姿势；本发明随机森林中的采用的是二叉树，每个分裂节点有相应的阈值，由阈值决定每个特征值样本分裂到左子树还是右子树，预测值由叶子节点存储,利用贪心决策树训练算法，将训练集TA＝{FK_i,Δ_i}递归分为左子集TAL和右子集TAR学习，根据最佳分裂策略和标准树分裂函数判断每棵树是否继续分裂；

输入一个测试样本FK，特征值由树CART_k的根节点开始，递归的分到左子树或右子树，最后达到树CART_k的叶子节点，此时，树CART_k的预测值可以得到，为Δ_k，最后整个森林所有树的输出求平均得到最终的预测值；

将预测值拆分为特征值差异，并与FK中特征值做和，每帧图修正后的骨架表示为FC＝FK+F(FK)，其中F(FK)表示的是RFRA输出的特征值差异的预测结果，根据特征值差异对骨架进行修复；

步骤7、利用RFCB做动作的判断。RFCB同步骤6中的RFCA建模和学习过程是一致的，只是训练集中的Δ改为步骤4中AP聚类后的关键帧标记τ，即TB＝{FK_k,τ_k}，标记预测输出也为整个森林所有树的输出求平均得到最终的预测值。如此，每个关键帧标记都被预测，如果一个动作的若干个FK有65％以上被预测为某个动作的关键帧标记τ，则判定该动作的具体类别。