[发明专利]一种用于三维交互场景的工具箱

权利要求书

1.一种用于三维交互场景的工具箱，其特征在于，包括以下步骤:

a.制作用于三维场景交互的工具集，利用如OpenGL软件来生成用于三维场景交互的工具集；

b.手势识别；

c.实时重构手势三维结构，得到3D手势模型中包括每个手指关节的位置坐标、手掌重心位置坐标和手势运动所有基本信息；

d.将3D手势模型转化为选定的虚拟工具，假设完成某虚拟工具的操纵功能需要S个结构或控制参数s_i,i＝1,2,...,S，在三维手势模型G中选择S个参数x_ji，i＝1,2,...,S,1≤ji≤M，使得：

s_i←x_ji (1)

式子(1)表示把三维手势模型的某参数x_ji赋值给虚拟工具的某结构或控制参数s_i。

2.根据权利要求1所述的一种用于三维交互场景的工具箱，其特征在于，所述的步骤b所述的手势识别的方法为一种基于纠错策略的CNN-SVM混合模型手势识别方法，所述方法首先对采集到的手势数据进行预处理，然后自动提取特征并进行预测分类得到分类结果，最后利用纠错策略对所述分类结果进行纠正。

3.根据权利要求2所述的一种用于三维交互场景的工具箱，其特征在于，所述的基于纠错策略的CNN-SVM混合模型手势识别方法包括以下步骤：

b-1.对采集到的数据进行预处理得到训练样本和测试样本；

b-2.获得CNN-SVM混合模型；

b-3.将测试样本输入到步骤b-2中得到的CNN-SVM混合模型中进行训练，得到分类结果以及分类结果的概率估计以及混淆矩阵；

b-4.基于步骤b-3中得到的概率估计以及混淆矩阵得到纠错策略，然后利用纠错策略对分类结果进行纠正。

4.根据权利要求3所述的一种用于三维交互场景的工具箱，其特征在于，所述步骤b-1中的操作包括以下分步骤：

b-1-1.采集静态手势，分别获取手部的深度图像和彩色图像；

b-1-2.对所述深度图像进行处理获得掩模图像；

b-1-3.对彩色图像和掩模图像进行与运算得到粗糙的手势区域图像；

b-1-4.利用贝叶斯肤色模型对所述粗糙的手势区域图像进行肤色分割得到分割后的图像，将分割后的图像分为两部分，一部分作为训练样本，另一部分作为测试样本。

5.根据权利要求4所述的一种用于三维交互场景的工具箱，其特征在于，所述步骤b-1-1中是采用Kinect采集静态手势。

6.根据权利要求3所述的一种用于三维交互场景的工具箱，其特征在于，所述的步骤b-2中是这样实现的：用SVM分类器代替CNN分类器的最后的输出层。

7.根据权利要求6所述的一种用于三维交互场景的工具箱，其特征在于，所述的步骤b-2中的操作包括以下分步骤：

b-2-1.将所述训练样本输入到CNN分类器的输入层，经过CNN分类器的训练直到训练过程收敛或者达到最大的迭代次数，得到训练好的CNN模型；

b-2-2.将所述训练样本输入到所述训练好的CNN模型中进行自动特征提取获得训练样本的特征向量；

b-2-3.将所述训练样本的特征向量输入到SVM分类器中进行二次训练，训练完成后得到CNN-SVM混合模型。

8.根据权利要求3所述的一种用于三维交互场景的工具箱，其特征在于，所述步骤b-4中所述纠错策略是指：规定一个阈值，根据该阈值将错误的分类结果筛选出来，然后依据实验得出的统计数据，对最终的分类结果进行纠正。