[发明专利]一种基于多体感设备的虚拟沙画交互结合方法

权利要求书

1.一种基于多体感设备的虚拟沙画交互结合方法，其特征在于：包括以下步骤：

1)数据获取：运用Leap Motion的数据捕捉功能，获取非接触式的沙画绘制的手部原始数据，通过Hand Controller组件获得所需要的手部数据；将PQ Labs G4S触摸屏与显示器通过接口连接好，确保数据的正确传输，通过TUIO协议在Unity3D中获取接触式沙画绘制的手部触摸数据；

2)数据处理：首先采用特征提取方法对手部原始数据进行预处理，然后引入新的手部特征数据，完成对动态手势的跟踪；通过对应位置的接收器和传感器将手部的触摸数据传递到计算机进行处理，从而产生对应的触摸事件；

3)手势识别：提前训练建立一个包含不同特征数据的手势模板库，实时监测非接触式沙画绘制的手势和手势模板库的匹配状态，通过匹配完成对模拟非接触式沙画绘制的手势识别；采用图嵌入方法构建不同模拟绘制手势的特征向量，依据特征向量建立手势数据库，使用触摸屏采集触摸位置与手势数据库中手势进行匹配，从而完成对模拟接触式沙画绘制的手势识别；

4)沙画渲染：根据真实沙画绘制时的非接触式和接触式绘制手法，将模拟沙画沙粒渲染效果分为非接触式的空中扬沙和漏沙，以及接触式的手指勾沙，点沙，抹沙和铺沙，完成对虚拟沙画的渲染；

5)触摸屏和Leap Motion设备的接口调试：采用C#接口将触摸屏和Leap Motion设备结合；

6)沙画绘制：完成一个基于Leap Motion的以真实手在空中非接触的绘制沙画，另一个是通过PQ Labs G4S触摸屏与显示器相粘合的方式，进行接触式沙画绘制，即完成基于多体感设备的虚拟沙画交互结合；

所述步骤2)中首先采用特征提取方法对手部原始数据进行预处理，然后引入新的手部特征数据，完成对动态手势的跟踪；通过对应位置的接收器和传感器将手部的触摸数据传递到计算机进行处理，从而产生对应的触摸事件，具体步骤包括：

2.1将获取到的手部原始数据信息采用图像处理方法，进而得到手部的数据，可以得到手的位置信息，对手部数据进行预处理可以作为下一步手势识别时的特征数据；

2.2在进行手势特征提取的过程中，引入了新的索引向量进行调整，具体方法：

Leap motion可以捕捉手部的多个关键节点的坐标信息，同时选择手指5个骨骼特征点作为原始输入，该时刻的骨骼索引输入向量定义为V_tn＝(V_1n,V_2n,V_3n,V_4n,V_5n)，其中，V_1n,V_2n,V_3n,V_4n,V_5n分别代表tn时刻5个手指的空间坐标，不同的人在进行手势识别时，手距离Leap motion的远近不同，会对同种手势特征的识别产生差异；但是特征向量是具有不变性的，将坐标系由原先的Leap motion为参考原点变成以手掌中心点为参考原点；设手掌中心参考点的三维空间坐标为M_tn＝(x_n,y_n,z_n)，经过坐标系转换之后重新定义tn时刻的手指索引输入向量

V_tn＝(V_1n-M_tn,V_2n-M_tn,V_3n-M_tn,V_4n-M_tn,V_5n-M_tn)，定义时序长度为n的手势输入序列为f_n＝(V_t1,V_t2,V_t3,V_t4,V_t5)，对tn时刻特征索引向量求解梯度，则V_tn的X,Y,Z方向的梯度G＝(G_x,G_y,G_z)分别有如下表示

将tn时刻索引向量的梯度G作为手势特征的输入；

2.3对获得的手部触摸数据进行处理，取得触摸事件并建立相应的反馈机制；每个触摸事件都具有唯一的Session ID，根据这一标识就可对触摸点信息进行新建、更新及移除操作。