[发明专利]一种基于神经网络的三维手部姿态估计方法

权利要求书

1.一种基于神经网络的三维手部姿态估计方法，其特征在于，按下列步骤进行：

步骤一，数据预处理：首先将数据集中所需要的手部位置信息、二维关键点坐标、三维关键点坐标等信息用matlab处理成二值化信息，以便于后续减少后续网络计算量与训练时间、运算成本；

步骤二，为了更好的估计图像中的手的三维姿态，需要先获得手部在图像中的位置信息，用VGG16网络前十层提取图像特征；

所述手部在图像中的位置信息的获得方法是：

1)HandScore网络首先通过VGG-16网络的前十层提取图像特征其中的信息包括图像的颜色、纹理、形状和空间关系的特征；

2)将编码层提取到空间大小为W*H*512的信息进行上采样；通过一两通道步长为1的卷积层，得到图像手的热力图信息Scoremap^W*H*2，其中通道一为背景信息得分图，通道二为手的位置信息；

步骤三，将提取的图像上采样至原图大小，网络用softmax+crossentropy的损失函数优化位置信息提取手部位置信息，即Scoremap；

步骤四，为了降低图像背景对后续姿态估计任务性能的影响，将原始图像信息与Scoremap信息融合，以一定程度模糊去除图像背景；

步骤五，将步骤四的结果输入实例分割网络中，以数据集中二维关键点为作为其真实值，得到其关键点的置信图；

步骤六，将置信图使用argmax处理后得到其二维关键点坐标，输入后续二维到三维映射网络中，用堆叠的方法映射出关键点在三维场景下的姿态。