[发明专利]基于时空流形轨迹建图的3D骨架动作识别方法

权利要求书

1.基于时空流形轨迹建图的3D骨架动作识别方法，其特征在于包括以下步骤：

1)准备基于骨架的动作识别数据集；

2)使用设计计算骨架序列中任意两对骨头间的相对运动关系的流形特征学习算法，通过该算法提取动作序列中的时空轨迹的特征；

3)设计基于连续投影的节点相似性建图方法，对动作序列节点进行初始的相似性建图，得到相似性建图的邻接表；

4)设计深度时空流形特征学习子模块；

5)设计能进行相似性学习的图卷积网络；

6)在大规模的骨架序列数据上，利用反向传播算法对时空流形特征学习子模块和图卷积网络进行端到端训练，得到最终训练好的模型；

7)利用训练好的模型进行动作识别，将最终网络模型的输出特征概率的最大值对应的标签作为动作识别的类别标签。

2.如权利要求1所述基于时空流形轨迹建图的3D骨架动作识别方法，其特征在于在步骤1)中，所述准备基于骨架的动作识别数据集的具体方法为：假设动作序列的帧数为F，关节数量为N_j，在第f帧的第n个关节的坐标表示为一个动作序列的三维坐标表示为有了这些三维坐标，在数据集里面给出身体结构数据，即给出以上关节点在身体构造中，哪些相连，哪些一起组成一个骨头；假设在第一帧里关节i和关节j是一个骨头B_ij的两端，这个骨头表示为此时，一根骨头表示成三维空间中的一个向量，得到骨头的集合目前骨架数据中身体结构图都是无环图，骨头数量是N_j-1；在身体骨架中，由任意两个不同骨头组成的相对关系组成的关系对有(N_j-1)*(N_j-2)对。

3.如权利要求1所述基于时空流形轨迹建图的3D骨架动作识别方法，其特征在于在步骤2)中，所述提取动作序列中的时空轨迹的特征，设计流形特征学习算法的获得的特征具体约束如下：

其中，SE(3)是特殊欧氏运动群，SO(3)是特殊正交群，R表示三维空间中的旋转关系，d表示三维空间中的平移关系。

4.如权利要求1所述基于时空流形轨迹建图的3D骨架动作识别方法，其特征在于在步骤3)中，所述得到相似性建图的邻接表的具体步骤如下：

(1)计算每个类在流形中的平均轨迹曲线；

(2)训练轨迹曲线沿着平均轨迹曲线方向，连续投影，得到连续投影后在切空间中的曲线S_train特征；

(3)所有测试集轨迹曲线沿着平均轨迹曲线方向，连续投影，得到测试集轨迹曲线在沿着M条平均曲线路径上连续展开的曲线集{S₁,S₂...S_M}；

(4)给定某个曲线S_train特征，利用DTW计算和该曲线最相似的K条轨迹曲线，得到训练数据节点的邻接表T_train；

(5)给定某个曲线S_test特征，利用DTW计算和该曲线最相似的K条轨迹曲线，得到测试数据节点的邻接表T_test。

5.如权利要求1所述基于时空流形轨迹建图的3D骨架动作识别方法，其特征在于在步骤4)中，所述设计深度时空流形特征学习子模块的具体要求如下：

在轨迹曲线特征学习部分的第一个模块，先设置一个李群流形中的学习参数R_S，然后对进行过流形学习的数据执行一次空间池化，一方面挑选出经过前一层学习后的更有判别性的空间特征，另一方面降低空域特征的计算量；第二个模块设置一个李群流形中的学习参数R_T，然后再对数据执行一次时间池化，一方面挑选出经过前一层学习后的更有判别性的时间特征，另一方面降低时域特征的计算量；

R_S∈SE(3)，R_T∈SE(3)；假设每次传入的数据为D∈SE(3)，由于李群运算的保留性，所以有：

D·R_S∈SE(3)

D·R_T∈SE(3)

在轨迹曲线特征学习部分里，网络参数学习约束在李群流形中。

6.如权利要求1所述基于时空流形轨迹建图的3D骨架动作识别方法，其特征在于在步骤5)中，所述设计能进行相似性学习的图卷积网络的具体步骤如下：

在图卷积模块，对所有的动作节点进行循环，将所有节点放入一个队列，构造一个以每个节点为中心点的领域子图，并预测所包含的周边节点与该中心点之间连接的可能性，得到一组权重为连接概率的边；为使相似节点聚集在一起，将权重低于某个阈值的边剪除，并使用广度优先搜索来传播伪标签；在每一次迭代中，将边缘更新到某个阈值以下，并在下一次迭代中保持大于预先定义的最大值的连通簇，在下一个迭代中，增加更新边缘的阈值，重复这个循环过程，直到队列为空，此时所有节点已经打上类别的伪标签，取每个簇的中心节点的标签来传播，即实现节点的分类。