[发明专利]一种多视点自由立体显示的三维增强现实方法

说明书

技术领域

本发明涉及三维增强现实方法，尤其涉及一种多视点自由立体显示的三维增强现实方法。

背景技术

增强现实(Augmented Reality，AR)，也被称为混合现实、扩展现实。它通过电脑技术将虚拟信息应用到真实世界，使真实环境和虚拟物体实时地叠加在同一个画面或空间。与传统虚拟现实(Virtual Reality，VR)技术所要达到的完全沉浸的效果不同，增强现实技术致力于将计算机生成的物体叠加到现实景物上，不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息互相补充、叠加，增强了真实环境输出特性，因而比VR技术有更加明显的优势。

早在20世纪60年代，美国Sutherland教授发明了世界上第一个头戴式显示器(Head-mounted display，HMD)，用户能看到线框图叠加在真实环境之上。由于HMD等设备价格高昂，一些不依赖硬件设备而直接将虚拟信息投射到真实空间中的AR技术应运而生。例如1998年美国北卡大学开发出Spatial Augmented Reality；1999年，日本开发了一套C/C++语言库ARToolKit，使用电脑图像技术计算摄像机和标记卡之间的相对位置，使程序员能将虚拟对象覆盖到标记卡上。

增强现实的实现方式有以下几类：一是GPS与Sensor结合，即通过GPS取得精度纬度和高度，通过地磁电子指南针(Sensor)取得方向和倾斜角度，最后根据这些位置信息获取相关信息后叠加显示。相关项目有PlaceEngine、SekaiCamera等。此种方式适合在手机上应用，目前的iPhone 3GS和Anroid已经具备硬件装置。第二种方式是将Marker识别，即将Marker图像的信息实现保存，通过图像识别技术，在当前的图像中查找识别Marker图像，然后叠加相关信息，前述的开源项目ARToolkit即属于此类。然而此类方法的缺点在于需要实现定义Marker图像，扩展功能受到限制，适用于游戏、广告以及在指定Marker图像上合成CG的场合。第三种实现方式为图像分析识别，它通过对摄影图像进行解析，识别出风景、物体和空间，再叠加相关信息，例如PTAM、SREngine等项目。该方法不需要特定信息，设备简单，通过解析图像建立虚拟坐标，能够很自然地合成现实图像和CG，可以说是目前AR研究中最重要的方向。然而此类方法尚有很多问题亟待解决，例如需要处理数据量大、技术难度大等。

虚实融合中的遮挡检测是增强现实中的一个重要问题，正确的遮挡关系是实现良好融合效果的重要前提；而现有的大多数增强现实系统只是简单地将虚拟物体叠加在真实场景图像上，造成真实场景图像始终被虚拟物体所遮挡。现有的大多数增强现实系统采用单摄像机获取场景信息，该种方法操作简便，设备成本低，但是难以获取深度信息因而难以解决虚实融合中的遮挡问题。2003年，日本的Masayuki Kanbara提出一种基于立体视觉的增强现实系统，该系统采用双目摄像机获取场景信息，计算物体所在区域场景的深度信息；通过检测场景中的标志点位置计算坐标系转换矩阵，通过比较一定范围内真实场景深度值与虚拟物体值计算虚实融合深度图，解决遮挡检测问题。然而该系统有两个不足之处：一是需要标记图像，不适合应用到自然场景；二是显示模块需要HMD，不能实现裸眼三维显示。