[发明专利]一种基于多体感设备的虚拟沙画交互结合方法

说明书

本发明属于虚拟沙画绘制方法技术领域，具体涉及一种基于多体感设备的虚拟沙画交互结合方法。本方法首先运用leap motion的数据捕捉功能，来获取手部原始数据，进而采用已有的特征提取方法对原始数据预处理，引入新的手部特征数据，完成对动态手势的跟踪，通过模板匹配进行手势识别，结合渲染效果完成非接触式虚拟沙画的绘制。利用PQ Labs G4S触摸屏获取触摸信息，产生触摸事件，并通过图嵌入的方法将其转化为特征向量以供手势识别，同时结合沙粒渲染效果完成接触式虚拟沙画绘制。本发明通过leap motion和触摸屏的辅助进行虚拟沙画绘制：与真实沙画相比，既有空中的三维绘制，又有接触式的二维绘制，能够很好地用于虚拟沙画绘制中。

技术领域

本发明属于虚拟沙画绘制方法技术领域，具体涉及一种基于多体感设备的虚拟沙画交互结合方法，该方法是基于leap motion的非接触式虚拟沙画绘制和基于PQ Labs G4S接触屏的触控式虚拟沙画绘制。

背景技术

人机交互作为虚拟现实技术的核心之一，肩负着提升用户沉浸体验和系统真实性的任务。对传统绘画艺术进行仿真是计算机艺术领域最具挑战性的课题之一，在吸取传统绘画艺术的营养、弘扬传统绘画艺术成就的同时，对计算机仿真绘画技术提出了新的要求。虚拟沙画系统理论上可以集成到任何可视化系统中例如个人PC机，甚至是支持IOS、Android或Windows Phone的移动设备上。现有的虚拟沙画让使用者可以不必考虑时间、地点、对象，随心所欲地绘制自己的沙画作品，其电子版本让绘画者可以随时发布自己的电子绘画给朋友、家人甚至是网络好友。这样的行为可以更快地加快沙画艺术的传播。同时，在电子设备上使用者不需要考虑物理上的限制，例如大面积的沙盘和大量用于沙绘的细沙沙粒。同时使用者不必考虑沙子撒落、设备损坏或者沙子用完等情况，因为这是在虚拟空间中进行的操作，不会消耗除了计算机和电力之外任何东西。但是存在的问题是在绘制的时候不能模拟非接触式的沙画绘制，例如真实沙画绘制中的空中扬沙和漏沙。

发明内容

本发明针对上述技术问题，提出一种基于多体感设备的虚拟沙画交互结合方法。

为解决上述技术问题，本发明采用的技术方案为：

一种基于多体感设备的虚拟沙画交互结合方法，包括以下步骤：

1)数据获取：运用Leap Motion的数据捕捉功能，获取非接触式的沙画绘制的手部原始数据，通过Hand Controller组件获得所需要的手部数据；将PQ Labs G4S触摸屏与显示器通过接口连接好，确保数据的正确传输，通过TUIO协议在 Unity3D中获取接触式沙画绘制的手部触摸数据；

2)数据处理：首先采用特征提取方法对手部原始数据进行预处理，然后引入新的手部特征数据，完成对动态手势的跟踪；通过对应位置的接收器和传感器将手部的触摸数据传递到计算机进行处理，从而产生对应的触摸事件；

3)手势识别：提前训练建立一个包含不同特征数据的手势模板库，实时监测非接触式沙画绘制的手势和手势模板库的匹配状态，通过匹配完成对模拟非接触式沙画绘制的手势识别；采用图嵌入方法构建不同模拟绘制手势的特征向量，依据特征向量建立手势数据库，使用触摸屏采集触摸位置与手势数据库中手势进行匹配，从而完成对模拟接触式沙画绘制的手势识别；

4)沙画渲染：根据真实沙画绘制时的非接触式和接触式绘制手法，将模拟沙画沙粒渲染效果分为非接触式的空中扬沙和漏沙，以及接触式的手指勾沙，点沙，抹沙和铺沙，完成对虚拟沙画的渲染；

5)触摸屏和Leap Motion设备的接口调试：采用C#接口将触摸屏和Leap Motion设备结合；