[发明专利]基于时空序列图的手势检测方法及系统

权利要求书

1.一种基于时空序列图的手势检测方法，其特征在于，包括：

构建手部关节点的时空序列图，具体包括：对视频进行手部关节点提取，手部的自然骨架连接和两只手对应关节点的连接来构造空间图，连续帧之间相同的关节点连接构建得到所述时空序列图；

将构建好的时空序列图输入图卷积神经网络GCN模块，提取每个关节点和与其相邻关节点之间的特征关系，输出特征向量；

GCN的特征提取方式：

其中，I表示节点自身的单位矩阵，表示引入自身节点特征的邻接矩阵，表示节点的度矩阵，A表示不包含自身节点特征的邻接矩阵，σ表示Sigmoid函数，H表示第l层的特征矩阵，W表示第l层的权重，l表示模型的第l层；

在GCN整个训练过程中，只需要对各个隐含层的权重矩阵W^(l)进行梯度下降训练即可；

将特征向量作为空间编码器C-Encoder部分的embedding输入，进行位置编码Positional Encode操作，得到位置编码向量；

进行位置编码时，首先在C-Encoder部分进行位置编码，借助正余弦函数来实现：

公式中，pos代表在图中为每个节点分配的编号，i表示特征向量的维度序号，取值范围是0-d_model/2，d_model是指每个节点的特征向量的维度；

将得到的位置编码向量与GCN输出的特征向量对位相加，输入到C-Encoder模块中，经过编码得到动作向量；

将得到的动作向量作为时序编码器T-Encoder的输入，进行编码，最后得到关节点与其他关节点的时空关系向量；

将动作向量和时空关系向量输入到聚类模块中，学习各类手势动作特征，使用软分配聚类的方式进行聚类，实现手势的分类识别。

2.一种基于时空序列图的手势检测系统，用于实现权利要求1所述的基于时空序列图的手势检测方法，其特征在于，包括：

构建模块，用于构建手部关节点的时空序列图；

提取模块，用于提取每个关节点和与其相邻关节点之间的特征关系；

第一编码模块，用于对特征关系进行位置编码操作，得到位置编码向量；

第二编码模块，用于结合位置编码向量和特征关系，编码得到动作向量；

第三编码模块，用于对动作向量进行时序编码，获得关节点与其他关节点的时空关系向量；

聚类模块，用于将动作向量和时空关系向量进行聚类分析，实现手势的分类识别。

3.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括用于执行如权利要求1所述的基于时空序列图的手势检测方法的指令。

4.一种电子设备，包括如权利要求3所述的非暂态计算机可读存储介质；以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器。