[发明专利]一种三维手势生成方法

摘要

本发明涉及一种三维手势生成方法，包括以下步骤:a.利用Kinect中的人体骨骼信息得到人手的深度坐标；b.获取人手区域的深度图像；c.将步骤b中获取的深度图像按照7:3的比例分为训练集和测试集两部分，并在Caffe框架下用CNN对步骤c‑1中的所有训练样本对手腕角度进行训练，得到一个i分类的CNN模型；d.对步骤c‑2中分出的每一类训练样本，随机取4/5的样本对手指j个局部状态再次进行CNN训练；e.对每一帧深度图像利用步骤c和步骤d中训练出的二层分类模型得到手腕状态和手指局部状态，这两种状态共同决定了手势状态；f.对手势状态判断并以此来实现对手势的控制。本发明利用二层分类模型对深度图像的手势状态进行分类，最后提出了控制算法以驱动虚拟手的运动。

主权项

1.一种三维手势生成方法，其特征在于，包括以下步骤:a.利用Kinect中的人体骨骼信息得到人手的深度坐标；b.获取人手区域的深度图像；c.本步骤c中包括以下两个分步骤，c‑1.将步骤b中获取的深度图像按照7:3的比例分为训练集和测试集两部分；c‑2.在Caffe框架下用CNN对步骤c‑1中的所有训练样本对手腕角度进行训练，得到一个i分类的CNN模型，其中i≥2，i取值越大手腕状态分类越细致但模型准确率越低；d.对步骤c‑2中分出的每一类训练样本，随机取4/5的样本对手指j个局部状态再次进行CNN训练，最终对于步骤c‑2中的每一种手腕状态都有一个j分类的CNN模型，其中j≥2变量i一样数值越大表示的手指局部状态越丰富但是分类准确率越低；e.对每一帧深度图像利用步骤c和步骤d中训练出的二层分类模型得到手腕状态和手指局部状态，这两种状态共同决定了手势状态；f.根据步骤e中得到第n帧的手势状态Sn(θ,φ)与第n‑1帧的手势状态Sn‑1(θ,φ)，判断Sn(θ,φ)与Sn‑1(θ,φ)是否相等，如果不相等则虚拟手向着Sn(θ,φ)所对应的状态变化以此来实现对手势的控制；其中手腕平移的自由度φ可以根据Kinect获取的人手坐标进行在虚拟场景中的映射，使用的映射关系如下：其中(sceneX,sceneY,sceneZ)是OpenGL中的场景坐标，(x,y,z)是利用Kinect获得的人手深度坐标，w控制场景中虚拟手移动的距离与深度坐标中实际人手移动距离的对应比例，(biasX,biasY,biasZ)调节实际人手坐标与虚拟场景视点原点的对应关系。