[发明专利]一种基于多体感设备的虚拟沙画交互结合方法

摘要

本发明属于虚拟沙画绘制方法技术领域，具体涉及一种基于多体感设备的虚拟沙画交互结合方法。本方法首先运用leap motion的数据捕捉功能，来获取手部原始数据，进而采用已有的特征提取方法对原始数据预处理，引入新的手部特征数据，完成对动态手势的跟踪，通过模板匹配进行手势识别，结合渲染效果完成非接触式虚拟沙画的绘制。利用PQ Labs G4S触摸屏获取触摸信息，产生触摸事件，并通过图嵌入的方法将其转化为特征向量以供手势识别，同时结合沙粒渲染效果完成接触式虚拟沙画绘制。本发明通过leap motion和触摸屏的辅助进行虚拟沙画绘制：与真实沙画相比，既有空中的三维绘制，又有接触式的二维绘制，能够很好地用于虚拟沙画绘制中。

主权项

1.一种基于多体感设备的虚拟沙画交互结合方法，其特征在于：包括以下步骤：1)数据获取：运用Leap Motion的数据捕捉功能，获取非接触式的沙画绘制的手部原始数据，通过Hand Controller组件获得所需要的手部数据；将PQ Labs G4S触摸屏与显示器通过接口连接好，确保数据的正确传输，通过TUIO协议在Unity3D中获取接触式沙画绘制的手部触摸数据；2)数据处理：首先采用特征提取方法对手部原始数据进行预处理，然后引入新的手部特征数据，完成对动态手势的跟踪；通过对应位置的接收器和传感器将手部的触摸数据传递到计算机进行处理，从而产生对应的触摸事件；3)手势识别：提前训练建立一个包含不同特征数据的手势模板库，实时监测非接触式沙画绘制的手势和手势模板库的匹配状态，通过匹配完成对模拟非接触式沙画绘制的手势识别；采用图嵌入方法构建不同模拟绘制手势的特征向量，依据特征向量建立手势数据库，使用触摸屏采集触摸位置与手势数据库中手势进行匹配，从而完成对模拟接触式沙画绘制的手势识别；4)沙画渲染：根据真实沙画绘制时的非接触式和接触式绘制手法，将模拟沙画沙粒渲染效果分为非接触式的空中扬沙和漏沙，以及接触式的手指勾沙，点沙，抹沙和铺沙，完成对虚拟沙画的渲染；5)触摸屏和Leap Motion设备的接口调试：采用C#接口将触摸屏和Leap Motion设备结合；6)沙画绘制：完成一个基于Leap Motion的以真实手在空中非接触的绘制沙画，另一个是通过PQ Labs G4S触摸屏与显示器相粘合的方式，进行接触式沙画绘制，即完成基于多体感设备的虚拟沙画交互结合。