[发明专利]一种基于增强现实的虚拟现实实现方法

说明书

技术领域

本发明属于增强现实领域，具体涉及一种基于增强现实的虚拟现实实现方法。

背景技术

虚拟现实(Virtual Reality,以下简称VR)技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该环境中。

增强现实技术(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。这种技术1990 年提出。随着随身电子产品CPU运算能力的提升，预期增强现实的用途将会越来越广。

进入21世纪以来，虚拟现实技术已经有了较快的发展，在军事训练、医疗教育等领域逐渐获得应用。2014年以来，随着新一代的技术的到来，虚拟现实设备成本大幅度下降，重量、体积也大大降低。学术界和工业界都逐渐意识到，虚拟现实技术将对未来的发展产生重大的影响。在工业界，虚拟现实技术有望全面取代基于显示屏的电影和游戏产业。在学术界，虚拟现实技术作为未来重要的显示终端，将大大影响计算机图形学技术的发展。

在虚拟现实技术的基础上，将虚拟事件与现实世界无缝拼接，同时呈现在人类面前的技术称为增强现实技术。许多国际大公司都发现了其不可估量的市场潜力和价值，并投下重金打造自己的产品。例如，谷歌的google glass、微软的hololens等等。种种事件都表明增强现实技术充满了巨大的机遇。

目前增强现实技术中存在的三个主要难点：一是将现实场景与虚拟物体进行融合显示，需要新型的显示技术；二是由于要与现实场景融合，需要准确地对场景建立三维模型，以便在此基础上准确地显示虚拟物体，相对于彩色双目摄像头系统，本计算机视觉系统采用彩色与深度传感器融合的方式，能够更加准确的得到场景的三维模型信息以及各个像素对应的颜色信息，在进行三维场景测量时大大节约了计算代价以及增加了准确性，这需要强大的计算机视觉测量硬件能力的基础以及准确、快速的算法计算出需要呈现的图像；三是为了使增强现实技术走入人们的日常生活，需要进一步开发基于手势，动作，语音的自由交互技术。

发明内容

本发明的目的是针对现有技术的不足，结合了智能手机、虚拟现实头盔、深度摄像头以及彩色摄像头。提供一种基于增强现实的虚拟现实实现方法。

首先通过深度摄像头和彩色摄像头采集RGB-D(即彩色图像RGB与深度图像Depth信息融合后的四通道图像的简称)，在生成RGB-D图像的过程中，需要执行三个必要的操作：1.采集深度图像、彩色图像。2.标定深度摄像头、彩色摄像头的摄像头内参、外参。3.对深度图像、彩色图像进行对齐，得到RGB-D图像数据，在此数据的基础上，本发明通过机器学习，识别出现实场景中的目标物体，便于获取物体的信息。并通过边缘检测和对角线判定等一系列方法识别场景中的平面结构，使系统可以基于平面结构在场景中生成目标物体的虚拟三维模型。接着，本发明将获取了虚拟信息的图像结合RGB-D数据，在智能手机上生成双目视图。之后，本发明通过虚拟现实头盔，就可以看到现实场景和虚拟物体。

具体按照以下步骤实施：

步骤一、相机标定配准。

首先对输入的场景的RGB与Depth图像序列进行预处理，以实现用棋盘格标定法对相机进行标定。转化矩阵如下：

其中s代表深度相机的缩放因子，u、v是彩色相机像平面的横坐标和纵坐标，A是彩色相机的内参矩阵，r₁r₂r₃代表旋转向量，t是位移向量， X、Y是现实三维空间中横坐标和纵坐标。

深度相机和彩色相机的标定，使得两个相机获得的像素之间产生对应关系，相机标定之后无需对接下来获取到的每一帧图片进行配准处理，只要直接将相机获取的RGB与Depth图像序列输入相机标定过程中得到的配准模型便可获取RGB-D图像序列。

步骤二、相机定位。

2-1.利用ORB特征提取算法对RGB-D图像序列两帧间图片的特征点进行提取，并对得到的特征点进行特定描述，从而得到两帧间图片的特征点相似程度。