[发明专利]光透视增强现实系统中双手人机交互方法

说明书

技术领域

本发明涉及的是一种光透视增强现实系统中双手人机交互方法。 

背景技术

增强现实技术（Augmented Reality，AR）是多媒体技术在三维领域实现的重要新手段，是一种利用计算机系统产生的三维信息来增强用户对现实世界感知的技术。与传统虚拟现实技术(Virtual Reality，VR)所要达到的完全沉浸于虚拟世界的效果不同，AR技术致力于将计算机生成的虚拟物体、场景或系统提示信息等无缝叠加到真实场景中，从而创造一个虚实结合的世界，以此实现对现实世界的“增强”。该领域的权威学者Azuma对增强现实系统及其所涉及的技术给出了一个较为详尽的综述并将AR系统的主要特点归纳为：①跟踪注册；②虚实融合；③实时交互。 

近年来，国内外对于AR技术的研究出现了很浓厚的气氛，国内外相关研讨会的数目不断增加，学术期刊和国际会议为研究者提供了一个充分交流的空间。其研究重点从简单的系统框架、硬件跟踪等技术，发展到目前的交互性能评价。每年有大量的有关AR技术研究的学术论文成果，还出现了一些AR技术的专题讨论。由此可见，目前AR技术发展迅速，它的研究与应用将有着深远的价值。目前从事AR技术研究的学术机构有美国北卡罗来纳大学、麻省理工学院、哥伦比亚大学、罗切斯特大学、波音公司、加拿大多伦大大学和索尼计算机科学实验室等；国内在这一方面的研究主要集中在配准技术以及系统应用的方面，研究内容还比较有限。 

从AR技术的研究热点来看，从AR诞生至今的二十多年内，大多数研究者们的研究兴趣集中在三维注册和信息集成两个领域。近年来，随着跟踪、传感等技术的迅速发展，AR中的实时人机交互技术成为一个研究热点。由于在日常生活中，人们往往习惯于使用双手完成各种任务，诸如简单的抓取，或是外科手术之类的复杂细致操作。这些过程中要求双手必须相互协调，以平稳自然的方式完成指定任务。如何将人的双手经验技能应用到虚拟环境的交互过程中去，成为AR系统中的一个热点问题。 

本发明的目标是为在光透视AR系统中实现自然的双手人机交互提供切实有效的实现方法，让用户能在真实的环境中与虚拟的物体进行更为友好的交互。尤其是，希望能让用户摆脱键盘、鼠标、触摸板等传统的人机交互方式，而直接使用双手进行人机交互操作，从而带给用户更为贴近日常习惯的交互体验。根据调研和查找资料，目前还未见有在AR系统中实现双手人机交互的成熟解决方案，本发明尚属首例。 

发明内容

鉴于现有技术存在的问题和不足，本发明的目的在于提供一种光透视增强现实系统中双手人机交互方法，让用户以更为贴近自然的方式进行人机交互操作，提高系统的沉浸感。 

本发明采用的光透视增强现实系统中双手人机交互系统硬件结构如图1所示，在双手数据手套(5)和光透视头盔显示器(7)上安装有磁力跟踪传感器(6，8)，在操作台(3)上设置磁力跟踪发射器(4)，将磁力跟踪传感器(6，8)以及磁力跟踪发射器(4)与磁力跟踪控制盒(2)相连接，将磁力跟踪控制盒(2)、光透视头盔显示器(7)以及数据手套(5)与系统主机(1)连接，用户穿戴光透视头盔显示器(7)及双手数据手套(5)。 

为达到上述目的，本发明采用的技术方案如下： 

一种光透视增强现实系统中双手人机交互方法，其特征在于具体操作步骤如下：

1)：初始化系统环境，设置系统参数，扫描和检查系统设备；

2)：设计算法对磁力跟踪传感器(6，8)的读数进行误差校正，并利用校正过的跟踪数据完成对用户头部、手部的实时方位跟踪以及虚拟模型的三维注册；

3)：设计算法对数据手套(5)的读数进行自适应处理，并利用处理后的数据实时获取用户手指的弯曲状态；

4)：测量磁力跟踪传感器(8)与用户眼睛之间的距离，修正视点的偏移量和可视角度；

5)：设计算法对手部的空间位置跟踪数据和手指弯曲状态进行分析处理，完成交互手势的实时识别；

6)：根据用户的输入操作进行虚拟场景实时建模，并根据其交互操作对场景模型进行实时变换和渲染,生成反馈动画；

7)：将真实场景与虚拟模型无缝融合；

8)：用户使用光透视头盔显示器(7)查看结果。

由于磁场强度随着距离的增加以几何级数递减，因此在磁力跟踪发射器(4)的附近与远处，磁场强度差别很大，导致磁力跟踪坐标与真实世界坐标不再成线性关系，如图2所示。所以需要对磁力跟踪传感器(6，8)的读数进行校正。前述步骤2) 磁力跟踪传感器(6，8)校正算法具体包括以下步骤：