[发明专利]一种手部姿态识别方法、系统、设备和存储介质

权利要求书

1.一种手部姿态识别方法，其特征在于，包括以下步骤：

从RGB摄像头捕获了手部的RGB图像，从主动深度摄像头捕获了手部的深度图像，根据所述RGB 图像和所述深度图像获取手部姿态数据集；

将所述手部姿态数据集进行处理，得到3D关节位置，将所述3D关节位置作为数据集标注用于软件模型的训练；

通过基于深度神经网络的特征提取器提取所述RGB图像，得到手部姿态的特征图；包括：在所述特征提取器中加入由输入层，瓶颈层和扩展层组成反转残差模块；在所述反转残差模块前的可分离卷积末尾加入ACON激活函数；通过设立超参数来学习在具体的网络位置，获取所述激活函数区域线性和非线性的程度；

根据注意力机制处理所述特征图，得到手部姿态的全局特征图，并利用所述全局特征图得到手部姿态的识别结果；包括：根据所述特征图的处理结果，得到手部三维姿态估计位置热图；将所述特征图进行平均池化的外形调整后得到手掌根部节点的位置信息并判断左右手部种类。

2.根据权利要求1所述的手部姿态识别方法，其特征在于，所述根据注意力机制处理所述特征图，得到手部姿态的全局特征图，并利用所述全局特征图得到手部姿态的识别结果，包括：

在所述特征提取器中引入坐标注意力机制模块，根据所述坐标注意力机制模块处理所述特征图，提高所述特征图的分辨率和信息完备度；

在所述特征提取器中引入多光谱注意力机制模块，根据所述多光谱注意力机制模块在手部姿态中估计网络特征提取的有效程度。

3.一种手部姿态识别系统，其特征在于，包括：

数据集模块，用于从RGB摄像头捕获了手部的RGB图像，从主动深度摄像头捕获了手部的深度图像，根据所述RGB 图像和所述深度图像获取手部姿态数据集；

图像预处理模块，用于将所述手部姿态数据集进行处理，得到3D关节位置，将所述3D关节位置作为数据集标注用于软件模型的训练；

特征图提取模块，用于通过基于深度神经网络的特征提取器提取所述RGB图像，得到手部姿态的特征图；所述特征图提取模块包括反转残差单元，所述反转残差单元用于：在所述特征提取器中加入由输入层，瓶颈层和扩展层组成反转残差模块；在所述反转残差模块前的可分离卷积末尾加入ACON激活函数；通过设立超参数来学习在具体的网络位置，获取所述激活函数区域线性和非线性的程度；

特征图识别模块，用于根据注意力机制处理所述特征图，得到手部姿态的全局特征图，并利用所述全局特征图得到手部姿态的识别结果；所述特征图识别模块包括结果识别单元，所述结果识别单元用于：根据所述特征图的处理结果，得到手部三维姿态估计位置热图；将所述特征图进行平均池化的外形调整后得到手掌根部节点的位置信息并判断左右手部种类。

4.根据权利要求3所述的手部姿态识别系统，其特征在于，所述特征图识别模块包括注意力机制单元，所述注意力机制单元用于：

在所述特征提取器中引入坐标注意力机制模块，根据所述坐标注意力机制模块处理所述特征图，提高所述特征图的分辨率和信息完备度；

在所述特征提取器中引入多光谱注意力机制模块，根据所述多光谱注意力机制模块在手部姿态中估计网络特征提取的有效程度。

5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至2中任一项所述方法的步骤。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至2中任一项所述的方法的步骤。