[发明专利]一种动态手势实时识别方法、装置、电子设备和存储介质

权利要求书

1.一种动态手势实时识别方法，应用于视觉识别系统，其特征在于，包括步骤：

S1.获取视频片段，所述视频片段包括当前时刻以及当前时刻之前连续的多个历史时刻对应的多帧第一图像；

S2.根据所述视频片段确定手势动作是否开始；

S3.确定所述手势动作开始时，获取各帧所述第一图像的关键点集合；所述关键点集合包括多个手部骨骼关键点的节点坐标；

S4.将各个所述关键点集合按时间顺序整合为关键点序列；

S5.基于预设的多个手势类别，根据所述关键点序列，针对每一个所述手势类别获取对应的置信度；

S6.根据所述置信度确定所述手势动作所属的手势类别；

步骤S4中的具体步骤包括：

S41.将各个所述关键点集合按时间顺序整合为多个所述关键点序列；

步骤S5中的具体步骤包括：

S55.依次以各个所述关键点序列作为目标序列，根据目标序列，针对每一个所述手势类别获取对应的所述置信度后，针对每一个所述手势类别计算出对应的加权平均置信度；所述加权平均置信度通过根据各个所述关键点序列的起始时刻的大小赋予各个所述置信度不同的权值计算所得；

步骤S6中的具体步骤包括：

S61.选取数值第一大的所述加权平均置信度作为第一值，以及选取数值第二大的所述加权平均置信度作为第二值；

S62.当所述第一值与所述第二值的差值大于预设的第一阈值时，或所述第一值大于预设的第二阈值时，以所述第一值对应的所述手势类别作为所述手势动作所属的手势类别。

2.根据权利要求1所述的动态手势实时识别方法，其特征在于，步骤S3中的具体步骤包括：S31.利用mediapipe库程序从各帧所述第一图像中提取所述关键点集合。

3.根据权利要求1所述的动态手势实时识别方法，其特征在于，步骤S5中的具体步骤包括：

S51.根据所述关键点序列依次获取各个关键点集合对应的空间特征图；所述空间特征图包括各个所述手部骨骼关键点的空间特征；

S52.利用所述空间特征图基于时间维度进行二维卷积计算获得对应的局部时空特征；所述局部时空特征包括各个所述手部骨骼关键点的第一时空特征；

S53.将所有所述局部时空特征输入到递归神经网络中，获得全局时空特征；所述全局时空特征包括各个所述手部骨骼关键点的第二时空特征；

S54.各个所述手势类别分别与所述全局时空特征进行对比，针对每一个所述手势类别获取对应的所述置信度。

4.根据权利要求3所述的动态手势实时识别方法，其特征在于，步骤S51中的具体步骤包括：所述空间特征图根据以下公式计算：

Λ_ii＝Σ_j(A_ij+I_ij)；

其中，F_n为所述关键点序列中第n个关键点集合对应的所述空间特征图，Λ为对角矩阵，A为所述手部骨骼关键点的邻接矩阵，I为所述手部骨骼关键点的自连接矩阵，f_n为所述关键点序列中第n个关键点集合，W为图卷积核参数，Λ_ii为所述对角矩阵中横向第i个且纵向第i个的元素，A_ij为所述邻接矩阵中横向第i个且纵向第j个的元素，I_ij为所述自连接矩阵中横向第i个且纵向第j个的元素。

5.根据权利要求3所述的动态手势实时识别方法，其特征在于，步骤S53中的具体步骤包括：根据以下公式获取各个所述手部骨骼关键点的第二时空特征：

其中，为第t个所述关键点集合中第k个所述手部骨骼关键点的第二时空特征，RNN为所述递归神经网络的计算函数，为第t个所述关键点集合中第k个所述手部骨骼关键点的第一时空特征，为第t-1个所述关键点集合中第k个所述手部骨骼关键点的第二时空特征。

6.根据权利要求3所述的动态手势实时识别方法，其特征在于，所述递归神经网络为基于GRU算法的神经网络，或基于LSTM算法的神经网络。