[发明专利]一种基于3D姿态的端到端交警手势识别方法和系统

权利要求书

1.一种基于3D姿态的端到端交警手势识别方法，其特征在于，包括以下步骤：

S1获取交警视频图像；

S2从所述交警视频图像中提取交警的2D关节点坐标和骨架；

S3将建立2D到3D的转换关系，根据所述转换关系将所述2D关节点坐标和骨架转化成3D骨架图像，并重新确定3D关节点坐标；

S4根据所述3D骨架图像和3D关节点坐标建立时空表征信息，将所述时空表征信息输入时空自适应图网络模型，获得交警手势识别结果。

2.如权利要求1所述的基于3D姿态的端到端交警手势识别方法，其特征在于，

所述步骤S3中2D到3D的转换关系的建立方法为：同时采集批量的交警三维动作信息以及视频图像信息；基于采集的交警三维动作信息，建立转换关系卷积网络，以完成二维关节点及骨架向3D空间映射的映射关系；以提取的2D关节点及骨架作为输入，以所述交警三维动作信息作为监督数据进行网络训练，获得最终的2D到3D的转换关系模型。

3.如权利要求2所述的基于3D姿态的端到端交警手势识别方法，其特征在于，所述转换关系卷积网络包括若干组全卷积模块，所述全卷积模块包括两部分，每个部分均由卷积层、归一化、Relu激活函数和Dropout正则化组成，两部分之间通过全连接的方式连接，最后通过全连接层输出确定的3D关节点坐标。

4.如权利要求1所述的基于3D姿态的端到端交警手势识别方法，其特征在于，所述时空表征信息由交警关节点的时空特征向量组成，t时刻交警某关节点p_i的时空特征向量表征为：

其中，分别为t时刻交警关节点p_i的横坐标、纵坐标以及深度信息，分别为t-1时刻交警关节点p_i的横坐标、纵坐标以及深度信息，为t时刻所述关节点提取的置信度大小，所述关节点为3D关节点。

5.如权利要求1所述的基于3D姿态的端到端交警手势识别方法，其特征在于，所述时空自适应图网络模型包括自适应空间图网络和自适应时序图网络，所述自适应空间图网络根据人体结构，将同一帧图像的3D关节点连接成边，组成空间边L_s＝{v_it,v_jt|(i,j)∈B}B，从而组成一组自然连接的人体关节点坐标；所述自适应时序图网络将连续两帧中相同的关节点连接成边，组成时间边L_t＝{v_it,v_i(t+1)}，其中，v_it和v_jt分别为t时刻同一帧图像的第i个关节点和第j个关节点的坐标，v_i(t+1)为t+1时刻的第i个关节点的坐标，B是同一帧图像中所有关节点的集合，所述关节点为3D关节点。

6.如权利要求5所述的基于3D姿态的端到端交警手势识别方法，其特征在于，所述自适应空间图网络的构建方法为：将同一帧的关节点分为若干子集；构建所述初始图卷积网络的邻接矩阵以及度矩阵；并分别对所述子集中的关节点进行卷积操作，获得图卷积网络。

7.如权利要求6所述的基于3D姿态的端到端交警手势识别方法，其特征在于，所述子集的个数为3个，第一个子集为空间位置上比根关节点更远离整个骨架中心线的相邻关节点；第二个子集为空间位置上比根关节点更接近整个骨架中心线的相邻关节点；第三个子集为根关节点本身，基于三个子集进行的卷积过程如下：

其中，A为邻接矩阵；I为邻接矩阵；A_j为第j个子集划分的邻接矩阵，Λ为采用子集划分后归一化的度矩阵；W_j为第j个子集划分节点学到的卷积权重；f_in为卷积层的输入特征向量；f_out为经过卷积层卷积操作后的输出特征向量。