[发明专利]利用手机单目摄像头对虚拟现实眼镜进行增强现实的方法

说明书

技术领域

本发明属于图像处理技术领域，特别涉及一种对虚拟现实眼镜进行增强现实的方法，可用于工业、教育、娱乐的虚拟可视化。

背景技术

增强现实技术,简称AR技术，是一种实时地计算摄影机影像的位置及角度并加上相应虚拟图像的技术，这种技术的目标是将真实的环境和虚拟的物体实时地叠加到同一个画面使二者同时存在。随着AR技术的发展，其在教育、医疗、艺术等领域的应用越来越广泛，相应地，可穿戴式AR立体显示技术也处于飞速地更新换代中。

目前，可穿戴式AR立体显示设备主要为AR眼镜，AR眼镜的功能是让用户在观看到现实场景的前提下，为当前场景添加上虚拟物体模型，并对模型进行立体显示。

市面上AR眼镜主要分为开放式和封闭式两种。开放式AR眼镜与人们日常佩戴的眼镜外形相似，具有透明的开放式视野，通过微型投影仪在佩戴者视野投影虚拟画面来形成立体显示感。封闭式AR眼镜普遍使用双目摄像头捕捉场景并为摄像机画面加上虚拟数据，为了模拟人眼的双目视差，即模拟人眼立体视觉，这两个摄像头需按照人眼瞳距距离安置，然后通过对显示屏分屏操作使佩戴者双眼看见不同的屏幕画面，经过人脑合成后就产生了立体视感。这两种系统存在以下问题：

1)开放式AR眼镜使用了投影技术，整个系统成本较高，且对硬件要求高，不能很好地普及市场；

2)封闭式AR眼镜由于有两个摄像头，较为笨重，而且成本较高，同时软件需同时处理两路视频纹理，对处理器性能有很高要求。

目前市场上普及的一种虚拟现实眼镜，即VR眼镜，利用双目视差原理，对双目的视野进行挡隔，分别提供给左右眼两幅符合双目视差的虚拟场景画面，再对视距进行调整，最终实现对虚拟场景的立体显示。此类眼镜成本较低，显示屏可用手机屏幕替代，使用户能完全沉浸于开发者搭建的虚拟场景中。但是这种VR眼镜，它提供给用户双眼的两路画面仅包含虚拟场景的信息，用户佩戴上VR眼镜后无法看见现实场景，不能实现对现实场景以及在场景中添加的虚拟物体模型的同时显示。

发明内容

本发明的目的在于针对上述问题，提出一种利用手机单目摄像头对虚拟现实眼镜进行增强现实的方法，以实现对现实场景以及在场景中添加的虚拟物体模型的同时显示。

为实现上述目的，本发明的技术方案包括如下：

(1)将标识图放置于现实场景中的一个平面上，建立大地坐标系OXYZ，并用标识图构成大地坐标系的XOY平面，大地坐标系的Z轴垂直于标识图；

(2)用手机后置摄像头C，拍摄含有标识图的场景；

(3)利用标识图上的特征点分别在大地坐标系和手机摄像头成像平面坐标系下的坐标值，求解标识图平面与手机摄像头的成像平面之间的单应性变换矩阵H，由H分解出大地坐标系到手机摄像头成像平面坐标系的摄像头投影矩阵P，从而得到手机摄像头C的位置参数；

(4)利用建模软件建立虚拟物体三维模型，得到模型上所有点的信息，定义模型在标识图平面上的具体位置，获得三维模型上所有点在大地坐标系下的坐标；

(5)定义两个虚拟摄像头C₁和C₂，且使第一虚拟摄像头C₁和第二虚拟摄像头C₂的位置与用户佩戴VR眼镜时双眼在显示屏后的位置一致，得到手机摄像头的坐标系分别到第一虚拟摄像头C₁的第一旋转平移矩阵H₁和到第二虚拟摄像头C₂坐标系的第二旋转平移矩阵H₂；

(6)利用步骤(5)中求出的两个旋转平移矩阵H₁、H₂和步骤(3)中求出的摄像头投影矩阵P，计算三维模型上的点分别在第一虚拟摄像头C₁下的成像I_m1和在第二虚拟摄像头C₂下的成像I_m2，计算场景中所有点分别在第一虚拟摄像头C₁下的成像I_e1和在第二虚拟摄像头C₂下的成像I_e2，将I_m1与I_e1叠加，得到场景和模型在第一虚拟摄像头C₁下的总成像I₁，将I_m2与I_e2叠加，得到场景和模型在第二虚拟摄像头C₂下的总成像I₂；