[发明专利]一种手部姿态识别方法、系统、设备和存储介质

说明书

本申请涉及一种手部姿态识别方法、系统、设备和存储介质，该方法包括：从RGB摄像头捕获了手部的RGB图像，从主动深度摄像头捕获了手部的深度图像，根据所述立体声图像和所述深度图像获取手部姿态数据集；将所述手部姿态数据集进行处理，得到3D关节位置，将所述3D关节位置作为数据集标注用于软件模型的训练；通过基于深度神经网络的特征提取器提取所述RGB图像，得到手部姿态的特征图；根据注意力机制处理所述特征图，得到手部姿态的全局特征图，并利用所述全局特征图得到手部姿态的识别结果。该识别方法在提供识别精确度的同时，验证了坐标注意力机制模块和多光谱注意力机制模块在手部姿态估计网络特征提取器中的有效性。

技术领域

本申请涉及人工智能领域，特别是涉及一种手部姿态识别方法、系统、设备和存储介质。

背景技术

随着信息化时代的不断发展，各种搭载人工智能信息系统的电子设备融入我们的生活之中，人机交互的需求日益凸显。而作为手部交互的基础性工作，人体手部位置识别定位与姿态估计，也有着巨大的研究价值。利用深度学习进行手部姿态估计有许多方法。有基于图像加深度信息的方法，有直接基于RGB图像的方法，也有基于双目乃至多目视觉的方法。在此之中，基于单幅RGB图像的手部姿态估计方法由于其实现简单，对硬件要求较低，便于推广等诸多优点而更为受到人们的关注。

利用深度学习方法，基于单幅RGB图像进行手部姿态估计，其中一个令人瞩目的方法是InterNet， InterNet通过输入单幅标注后的RGB图像通过一个深度神经网络特征提取器和全连接网络的后续热图估计和位置拟合，精准估计手部姿态位置。作为作者提出数据集，该方法提升了手部姿态估计的性能，在STB数据集上实现了解决了交互式手部姿态估计的难题。但是，上述识别过程存在识别精度不高的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种手部姿态识别方法、系统、设备和存储介质。

第一方面，本发明实施例提供了一种手部姿态识别方法，包括以下步骤：

从RGB摄像头捕获了手部的RGB图像，从主动深度摄像头捕获了手部的深度图像，根据所述RGB图像和所述深度图像获取手部姿态数据集；

将所述手部姿态数据集进行处理，得到3D关节位置，将所述3D关节位置作为数据集标注用于深度神经网络模型的训练；

通过基于深度神经网络的特征提取器提取所述RGB图像，得到手部姿态的特征图；

根据注意力机制处理所述特征图，得到手部姿态的全局特征图，并利用所述全局特征图得到手部姿态的识别结果。

进一步的，所述通过基于深度神经网络的特征提取器提取所述RGB图像，得到手部姿态的特征图，包括：

在所述特征提取器中加入由输入层，瓶颈层和扩展层组成反转残差模块；

在所述反转残差模块前的可分离卷积末尾加入ACON激活函数；

通过设立超参数来学习在具体的网络位置，获取所述激活函数区域线性和非线性的程度。

进一步的，所述根据注意力机制处理所述特征图，得到手部姿态的全局特征图，并利用所述全局特征图得到手部姿态的识别结果，包括：

在所述特征提取器中引入坐标注意力机制模块，根据所述坐标注意力机制模块处理所述特征图，提高所述特征图的分辨率和信息完备度；

在所述特征提取器中引入多光谱注意力机制模块，根据所述多光谱注意力机制模块在手部姿态中估计网络特征提取的有效程度。

进一步的，所述根据注意力机制处理所述特征图，得到手部姿态的全局特征图，并利用所述全局特征图得到手部姿态的识别结果，包括：

根据所述特征图的处理结果，得到手部三维姿态估计位置热图；