[发明专利]一种数字化虚实交互系统及方法

说明书

技术领域

本发明涉及一种数字化虚实交互系统及方法，属于计算机图形图像处理及虚拟现实研究领域。 

背景技术

虚实交互是目前人机交互领域的重要发展方向，基于虚实结合技术，为用户提供一个充满想象力但又具真实感的环境，使用户经历前所未有的体验，也可完成协同设计、训练、教学等目标功能。使用摄像机采集用户真实的信息（包括手势信息等），将其与三维虚拟世界相结合，构建虚实混合环境，是一种很自然的虚实交互方法，但是如何能够通过用户随机的即兴发挥，生成用户心中想要的三维场景并与之交互，目前还没有成熟的技术。 

在艺术创作领域，手绘草图是一种常用的用户表达方式，也是艺术家重要的思维方式和创意创造过程，是一种通过画面诱导获取创意的技术。手绘草图的数字化目前国内外也都有研究，通过对手绘草图的分析和识别来转换为数字化产品，再应用于教学、艺术/服装/建筑设计等多个领域。但是这种处理也仅限于从二维到二维的过程，龚健等在文献“龚健，费广正，石民勇，曹玮，基于手绘草图轮廓检索的简笔绘图系统，2008系统仿真技术及其应用学术会议论文集，pp.761-764”中利用基于手绘草图轮廓的图像检索技术实现了用于二维图像绘制的简笔绘图系统，用户利用检索出来的图像可做进一步的编辑，既能保证绘图的基本质量，又提高了绘图的效率。CMU的Wing Ho Leung等在文献“Wing Ho Leung,Tsuhan Chen,Hierarchical Matching for Retrieval of Hand-Drawn Sketches,International Conference on Multimedia and Expo-Volume2,2003,pp.29-32”中提出了手绘草图的层次化匹配检索方法，通过对用户手绘的逐个笔画进行匹配并考虑其空间关系来进行检索，减少了计算量，但仍然属于二维处理的过程。 

本发明旨在将用户手绘草图即用户实时绘制过程与图像检索和识别、三维环境渲染、用户交互集成在一起，实现中国传统文化中家喻户晓的“神笔马良”的故事效果，用户在操作平台徒手操作，即可看到相应的三维模型在虚拟环境中自然出现（当然也包括二维图像的编辑与交互），并可与用户交互运动。本发明主要涉及的技术包括用户手绘轨迹的跟踪、二维图像形状检索、语义识别及三维模型加载、虚实交互等。本发明中采集到的用户手势输入痕 迹可形成二维图像，利用其形状特征即可进行语义的检索与识别，通过图形库中加载对应的三维模型，即可渲染虚拟环境，实现沉浸式虚实交互功能。 

发明内容

本发明解决的技术问题是：通过采集用户指尖的运动轨迹，进行二维或三维虚实交互。二维交互功能包括：将手势轨迹转换为图像形状，检索图像库中具有该形状的图像并显示，用户可通过手势动作对图像进行缩放、旋转、编辑等操作；三维交互功能包括：通过用户手绘轨迹形成的图像识别出其语义，再根据语义检索图形库中的三维模型，绘制相应的虚拟环境，用户可通过手势动作与虚拟环境交互。 

本发明的技术解决方案为研究并实现数字化虚实交互系统及方法，其中系统硬件包括手势采集设备（摄像机或触摸屏）、处理设备（主机）以及显示设备（显示器或触摸屏）。采用的方法包含如下步骤：（1）跟踪捕捉摄像机采集到的用户指尖的运动轨迹；（2）在显示器上实时绘制轨迹曲线，或用触摸屏显示并记录用户指尖留下的轨迹；（3）提取运动轨迹形成的轮廓，检测其形状并赋予文字语义；（4）搭建三维模型库，通过语义管理图形库中的三维模型；（5）根据用户手绘轨迹的语义检索三维模型库，加载对应的三维模型并显示三维虚拟环境；（6）用户与三维模型及虚拟环境动态交互，实现数字化的虚实交互功能。 

附图说明

图1是数字化虚实交互系统结构示意图； 

图2是系统流程图； 

图3是用户指尖运动轨迹绘制流程图。 

具体实施方式

以下，参照附图，对本发明的具体状态作说明，但是本发明不限于图示例。 

如图1所示，数字化虚实交互系统由手势采集设备（摄像机或触摸屏）、处理设备（主机）以及显示设备（显示器或触摸屏）组成。如果采用摄像机进行图像采集，则使用显示器进行显示，要求摄像机采集的帧速不小于15fps，否则延迟会比较大，影响用户进行虚实交互的效果。 

如果使用触摸屏，则可以同时捕捉并显示（通过记录点击位置）用户的指尖运动轨迹，主机负责进行核心处理工作。 

如图2所示，数字化虚实交互方法包括以下步骤： 

（1）跟踪捕捉摄像机采集到的用户指尖的运动轨迹；