[发明专利]手部检测方法及机器可读存储介质

权利要求书

1.一种手部检测方法，包括：

获取待检测图像，其中所述待检测图像包括对应于同一拍摄场景的红外图像和深度图像；

基于第一神经网络模型，提取所述待检测图像的全图范围中的候选手部区域；

基于第二神经网络模型，从所述候选手部区域中检测手部位置。

2.根据权利要求1所述的方法，其特征在于，所述第一神经网络模型和所述第二神经网络模型被用于执行以下操作：

从所述深度图像中解析出轮廓信息和表面梯度信息，并从所述红外图像中解析出纹理信息；以及

基于所述轮廓信息、表面梯度信息和所述纹理信息，所述第一神经网络模型提取出所述候选手部区域，以及所述第二神经网络模型检测到所述手部位置。

3.根据权利要求1所述的方法，其特征在于，在所述从所述候选手部区域中检测手部位置之后，该方法还包括：

若所检测到的手部位置为多个时，则对多个所检测到的手部位置进行非极大值抑制计算；

基于预定阈值和经非极大值抑制计算所得的数值，从所述多个所检测到的手部位置中筛选出目标手部位置。

4.根据权利要求3所述的方法，其特征在于，在所述从所述多个所检测到的手部位置中筛选出目标手部位置之后，该方法还包括：

对所检测到的所述目标手部位置的图像分区进行图像优化处理，并将经图像优化处理的所述图像分区输出，其中所述图像优化处理包括以下中的一者或多者的操作：平滑滤波、膨胀腐蚀和轮廓检测。

5.根据权利要求1所述的方法，其特征在于，该方法还包括针对所述第一神经网络模型和所述第二神经网络模型的训练步骤，包括：

获取多组相关联的用于训练的预标记有手的图像坐标的训练红外图像和训练深度图像，以及对应于该预标记的标记结果的真实标签；

基于所述训练红外图像、所述训练深度图像和所述真实标签，训练所述第一神经网络模型和所述第二神经网络模型。

6.根据权利要求5所述的方法，其特征在于，所述基于所述训练红外图像、所述训练深度图像和所述真实标签训练所述第一神经网络模型和所述第二神经网络模型包括：

将所述训练红外图像、所述训练深度图像和所述真实标签输入至所述第一神经网络模型进行训练，以得到用于指示所述训练红外图像和所述训练深度图像中的候选手部区域的第一训练结果；

将所述第一训练结果和所述真实标签输入至第二神经网络模型，以训练所述第二神经网络。

7.根据权利要求5所述的方法，其特征在于，所述基于所述训练红外图像、所述训练深度图像和所述真实标签训练所述第一神经网络模型和所述第二神经网络模型包括：

基于所述真实标签和所述第一神经网络模型的训练结果，判断所述第一神经网络模型是否已经损失收敛；以及

基于所述真实标签和所述第二神经网络模型的训练结果，判断所述第二神经网络模型是否已经损失收敛；

根据损失收敛的结果，判断是否已完成对所述第一神经网络模型和/或所述第二神经网络模型的训练。

8.根据权利要求1所述的方法，其特征在于，所述第一神经网络模型和所述第二神经网络模型为卷积神经网络，其中所述第一神经网络模型的卷积模块的层数大于所述第二神经网络模型的卷积模块的层数。

9.根据权利要求1-8中任一项所述的方法，其特征在于，在所述基于第一神经网络模型提取所述待检测图像的全图范围中的候选手部区域之前，该方法包括：

对所述待检测图像中的深度图像在深度范围内进行归一化处理。

10.一种机器可读存储介质，其中该机器可读存储介质上存储有指令，该指令用于使得机器执行权利要求1-9中任一项所述的手部检测方法。