[发明专利]手势骨架构建方法、装置、设备及存储介质

权利要求书

1.一种手势骨架构建方法，其特征在于，所述方法包括：

将深度图片输入包括2n+1级卷积激活层、n级池化层和n级反卷积层的手势分割神经网络，通过第1至第n级卷积激活层和所述n级池化层，对所述深度图片进行卷积激活以及池化处理，得到中间特征图，所述中间特征图的通道数大于所述深度图片的通道数，且所述中间特征图的尺寸小于所述深度图片的尺寸；通过第n+1至第2n+1级卷积激活层和所述n级反卷积层，对所述中间特征图进行卷积激活以及反卷积处理，得到所述深度图片对应的目标特征图，所述目标特征图的通道数等于所述深度图片的通道数，且所述目标特征图的尺寸等于所述深度图片的尺寸；根据所述目标特征图输出手部置信区域，所述手部置信区域用于表征所述深度图片中的手部区域，所述深度图片中包含各个像素点的深度值，所述深度值用于表征像素点对应物体与深度摄像头之间的距离，n≥2，n为整数，其中，所述卷积激活层用于提取特征，所述池化层用于缩小特征图的尺寸，所述反卷积层用于放大特征图的尺寸；

根据所述手部置信区域中各个像素点的所述深度值，从所述深度图片中提取出手部图像；

将所述手部图像输入手势识别神经网络，得到手部各个关节的三维坐标；

根据所述三维坐标在三维空间中构建手势骨架。

2.根据权利要求1所述的方法，其特征在于，所述通过第1至第n级卷积激活层和所述n级池化层，对所述深度图片进行卷积激活以及池化处理，得到中间特征图，包括：

通过第i级卷积激活层对第i-1特征图进行卷积激活处理，并将处理后的所述第i-1特征图输入第i级池化层，2≤i≤n；

通过所述第i级池化层对处理后的所述第i-1特征图进行池化处理，得到第i特征图；

将所述第i特征图输入第i+1级卷积激活层。

3.根据权利要求1所述的方法，其特征在于，所述通过第n+1至第2n+1级卷积激活层和所述n级反卷积层，对所述中间特征图进行卷积激活以及反卷积处理，得到所述目标特征图，包括：

通过第j级反卷积层对第j+n级卷积激活层输出的特征图进行反卷积处理，1≤j≤n；

对反卷积处理后的特征图与第n-j+1级卷积激活层输出的特征图进行拼接，并将拼接后的特征图输入第j+n+1级卷积激活层，所述反卷积处理后的特征图与所述第n-j+1级卷积激活层输出的特征图的尺寸相同；

通过第j+n+1级卷积激活层对所述拼接后的特征图进行卷积激活处理。

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标特征图输出所述手部置信区域，包括：

根据所述目标特征图对所述深度图片中的各个像素点进行识别分类，生成概率矩阵，所述概率矩阵用于表征所述深度图片中各个像素点是手部的概率，所述概率矩阵与所述深度图片的尺寸相同；

对所述概率矩阵进行二值化处理，输出所述手部区域对应的评分图，所述评分图用于指示所述深度图片中的所述手部置信区域。

5.根据权利要求1至4任一所述的方法，其特征在于，所述根据所述手部置信区域的深度值，从所述深度图片中提取出手部图像，包括：

根据所述手部置信区域从所述深度图片中提取出候选图像，所述候选图像中包含所述手部置信区域，且所述候选图像的尺寸大于所述手部置信区域的尺寸；

根据所述手部置信区域中各个像素点的深度值，计算平均深度值；

根据所述平均深度值和深度切割阈值，从所述候选图像中提取所述手部图像；

其中，所述平均深度值-所述深度切割阈值≤所述手部图像中像素点的深度值≤所述平均深度值+所述深度切割阈值。