[发明专利]一种三维手势生成方法

权利要求书

1.一种三维手势生成方法，其特征在于，包括以下步骤:

a.利用Kinect中的人体骨骼信息得到人手的深度坐标；

b.获取人手区域的深度图像；

c.本步骤c中包括以下两个分步骤，

c-1.将步骤b中获取的深度图像按照7:3的比例分为训练集和测试集两部分；

c-2.在Caffe框架下用CNN对步骤c-1中的所有训练样本对手腕角度进行训练，得到一个i分类的CNN模型，其中i≥2，i取值越大手腕状态分类越细致但模型准确率越低；

d.对步骤c-2中分出的每一类训练样本，随机取4/5的样本对手指j个局部状态再次进行CNN训练，最终对于步骤c-2中的每一种手腕状态都有一个j分类的CNN模型，其中j≥2变量i一样数值越大表示的手指局部状态越丰富但是分类准确率越低；

e.对每一帧深度图像利用步骤c和步骤d中训练出的二层分类模型得到手腕状态和手指局部状态，这两种状态共同决定了手势状态；

f.根据步骤e中得到第n帧的手势状态S_n(θ,φ)与第n-1帧的手势状态S_n-1(θ,φ)，判断S_n(θ,φ)与S_n-1(θ,φ)是否相等，如果不相等则虚拟手向着S_n(θ,φ)所对应的状态变化以此来实现对手势的控制；

其中θ表示为人手23个关节角度参数的集合,手腕平移的自由度φ可以根据Kinect获取的人手坐标进行在虚拟场景中的映射，使用的映射关系如下：

其中(sceneX,sceneY,sceneZ)是OpenGL中的场景坐标，(x,y,z)是利用Kinect获得的人手深度坐标，w控制场景中虚拟手移动的距离与深度坐标中实际人手移动距离的对应比例，(biasX,biasY,biasZ)调节实际人手坐标与虚拟场景视点原点的对应关系；

所述的步骤f中，利用手势包围盒的变化速度来估计人手的运动速度从而控制虚拟手的变化速度，考虑到人手与Kinect之间的距离变化也会影响手势包围盒尺寸的变化，因此在设计控制手势算法时考虑到了深度距离变化对手势包围盒的影响，即深度变化越大对手势包围盒变化的惩罚越大，具体每一帧每一个关节角度控制公式如下：

其中和为第n+1帧的δ关节角度和当前帧的δ关节角度，|ΔS|为第n帧与第n-1帧手势包围盒的变化面积，|Δz|为第n帧与第n-1帧深度坐标变换距离，λ_δ为δ关节角度变换的一个步长用于调整关节每一帧变换的程度，和分别为第n帧手势状态所对应的δ关节角度与前一帧手势状态所对应的δ关节角度。

2.根据权利要求1所述的一种三维手势生成方法，其特征在于，所述的步骤c-2中i＝20。

3.根据权利要求1所述的一种三维手势生成方法，其特征在于，所述的步骤d中j＝9。