[发明专利]手势识别方法、装置、存储介质及电子设备

权利要求书

1.一种手势识别方法，其特征在于，所述方法包括：

获取目标视频图像，所述目标视频图像包括多帧手部图像；

通过预设手势识别模型确定所述目标视频图像中的每帧手部图像对应的手势类别和指尖位置；

根据所述目标视频图像中每帧手部图像对应的手势类别和指尖位置确定所述目标视频图像对应的目标手势动作；

其中，所述预设手势识别模型包括：特征提取子模型，中心位置确定子模型，偏差量获取子模型，长宽获取子模型，关键点位置获取子模型以及输出子模型，所述特征提取子模型的输出端分别与所述中心位置确定子模型的输入端，所述偏差量获取子模型的输入端，所述长宽获取子模型的输入端，以及关键点位置获取子模型的输入端耦合，所述中心位置确定子模型的输出端，所述偏差量获取子模型的输出端，所述长宽获取子模型的输出端，关键点位置获取子模型的输出端均与所述输出子模型的输入端耦合；所述特征提取子模型，用于对手部图像进行卷积特征提取，以得到所述手部图像对应的卷积特征图，所述中心位置确定子模型，用于生成手部图像对应的每个预设手势类别的手部位置特征图，所述偏差量获取子模型，用于获取所述手部图像中手部位置对应的偏移量特征图，所述长宽获取子模型，用于获取所述手部图像中手部位置对应的大小特征图，所述关键点位置获取子模型，用于获取所述手部图像中预设手部关键点对应的关键点位置特征图，所述输出子模型，用于根据所述手部位置特征图，所述偏移量特征图，所述大小特征图，以及所述关键点位置特征图输出每帧手部图像对应的所述手势类别和所述指尖位置。

2.根据权利要求1所述的方法，其特征在于，所述通过预设手势识别模型确定所述目标视频图像中的每帧手部图像对应的手势类别和指尖位置，包括：

将每帧手部图像输入所述预设手势识别模型，以使所述预设手势识别模型中的所述特征提取子模型对所述手部图像进行卷积特征提取，以得到卷积特征图；

将每帧手部图像对应的所述卷积特征图分别输入所述预设手势识别模型中的所述中心位置确定子模型，所述偏差量获取子模型，所述长宽获取子模型，所述关键点位置获取子模型，以使所述中心位置确定子模型生成所述手部图像对应的每个预设手势类别的手部位置特征图，并使所述偏差量获取子模型输出所述手部图像中手部位置对应的偏移量特征图，所述长宽获取子模型输出所述手部图像中手部位置对应的大小特征图，所述关键点位置获取子模型输出所述手部图像中手部预设关键点对应的关键点位置特征图；

通过预设手势识别模型中的所述输出子模型根据每帧手部图像对应的所述手部位置特征图，所述偏移量特征图，所述大小特征图，以及所述关键点位置特征图输出该帧手部图像对应的所述手势类别和所述指尖位置。

3.根据权利要求2所述的方法，其特征在于，所述通过预设手势识别模型中的所述输出子模型根据每帧手部图像对应的所述手部位置特征图，所述偏移量特征图，所述大小特征图，以及所述关键点位置特征图输出该帧手部图像对应的所述手势类别和所述指尖位置，包括：

将所述手部图像对应的所述手部位置特征图，所述偏移量特征图，所述大小特征图，以及所述关键点位置特征图输入所述输出子模型，以使所述输出子模型对所述手部位置特征图进行最大池化处理，以得到目标手部位置特征图，并从所述偏移量特征图中确定所述目标手部位置特征图中每个像素对应的偏移量特征，从所述大小特征图中确定所述目标手部位置特征图中每个像素对应的大小特征，从所述关键点位置特征图中确定所述目标手部位置特征图中每个像素对应的关键点位置坐标，根据所述目标手部位置特征图中每个像素对应的偏移量特征，每个像素对应的大小特征，每个像素对应的关键点位置坐标，生成所述手部图像对应的所述手势类别和所述指尖位置。

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标视频图像中每帧手部图像对应的手势类别和指尖位置确定所述目标视频图像对应的目标手势动作，包括：

从所述目标视频图像中获取预设时长的待识别视频图像；

在确定所述待识别视频图像中包含目标手势类别的图像大于预设时长阈值的情况下，从所述待识别视频图像中确定目标手部视频图像，所述目标手部视频图像包括连续多帧目标手势类别的手部图像；

根据所述目标手部视频中起始帧图像对应的指尖位置与末尾帧图像对应的指尖位置确定所述目标手部视频对应的目标手势动作。