[发明专利]带有交互功能的增强现实的方法及其系统

说明书

技术领域

本发明属于增强现实技术领域，特别涉及增强现实的方法及系统，应用于虚拟现实与计算机视觉领域，利用模式识别与虚拟现实技术对视频采集到的现实图像帧起到添加内容、增强效果的作用。

背景技术

增强现实(AR，Augmented Reality)是利用虚拟物体对真实场景进行现实增强的技术。增强现实基于摄像头等采集器件采集到的真实物理环境，通过将文本、二维图像、三维模型等虚拟生成的信息标注在显示屏所显示的真实物理环境中的物体上，从而实现对用户身处的现实物理环境的注释、说明，或者增强、强调现实环境的某些效果。比如用户戴上专用的增强现实显示眼镜，观察某个复杂机械时，他不仅可以看到现实世界中存在的机械结构本身，还可以同时看到通过增强现实技术附加的多媒体信息如机械各个部分的介绍等。增强现实技术给用户一种虚拟对象与现实环境两相融合的体验，它能有效地帮助用户认知周围环境，增添周围环境的信息，实现用户与周围环境的交互。

“ARToolkit”是一种可用于增强现实的开源软件包。ARtoolkit使用计算机视觉技术来计算真实摄像场景与标记符号之间的相对位置关系。ARToolkit的主要算法流程为：输入实时捕获的视频图像帧，通过可设定的阈值将其转换成黑白二值图；搜索场景中标志物的黑框颜色所对应的连通区域，作为标志物黑框的候选对象；得到各连通区域的轮廓线，若能提取出四条相交的直边，则作为可能的标志物；利用四条直边找到的角特征，进行形变矫正，并计算出标志物变换成前视图的一个单应性矩阵(homography)变换；利用该单应性矩阵在标志物的黑框内部区域进行采样，采样模板一般为16×16，共得到256个采样点构成一个采样向量；将这个采样向量与预先存放在标志物数据库的标志物逐个进行比较，计算标志物上相应点构成的向量与采样向量的归一化向量点积，得到一个可信度值；如果可信度值低于一个阈值，就当作是未匹配成功，否则就是匹配成功。根据匹配成功的标志物查找到相对应的虚拟物体，将虚拟物体按相机与标志物的当前相对方位进行变换，使之与标志物相吻合。

现有技术中，有基于ARToolKit包与二维可视编码技术实现三维增强现实的方法和系统，用以实现虚实物体之间映射关系的建立。该系统具体包括：视频帧捕获模块、视频跟踪模块、虚拟图形系统模块、虚实合成模块以及视频显示模块，各个部分功能具体为：

A、视频帧捕获模块，用于捕获二维可视编码标志物的视频帧，并将该视频帧发送给视频跟踪模块；

B、视频跟踪模块，用于计算处理获得的标志物视频帧，根据计算处理结果获得从标志物坐标系到相机坐标系的变换矩阵；通过采样二维可视编码中编码图案，获得标志物编码值，检索出与该编码值对应的三维模型，并根据该三维模型的顶点数组与变换矩阵的乘积，得到该三维图形在相机坐标系下的坐标数组。

C、虚拟图形系统模块，用于根据获得的三维图形在相机坐标系下的坐标数组绘制对应的三维图形，并将该三维图形存储在帧缓存中，生成虚拟图形帧。

D、虚实合成模块，用于将获得的虚拟图形帧与二维可视编码标志物的视频帧进行合成，得到合成视频帧。

该技术方案的主要特点为：

1、在现有的三维增强现实技术中引入规范的二维可视化编码图像作为跟踪所用标志物，以代替现有技术中ARToolkit采用的任意形状的标志物，从而提高了ARToolkit中的跟踪算法速度以及可靠性、并且加快了模式匹配处理速度。

2、在现有的二维可视化编码基础上引入对三维相对变换信息的计算与提取，检索出相应的三维媒体信息并且三维注册合成的增强现实技术，该技术可识别出二维可视编码，还能将得到的其对应的三维空间位置，通过编码检索到的三维模型实时地增强显示在编码图形上，进而实现增强现实功能。

3、主要用于在计算资源相对有限的手持移动计算设备上实施增强现实技术，拓展增强现实技术的应用领域。

其缺点是，对标志物的要求较高，要求标志物形态简单，形状边沿与背景色的反差非常清晰明显，并且必须有四条直边组成的四边形边框作为清晰边界，否则会影响识别效果。

发明内容

本发明的目的在于，提供一种带有交互功能的增强现实的方法及其系统，通过判断特定标志物区域是否被覆盖的方式改变虚拟物体与真实场景的合成效果，增强与用户的交互性。

本发明采用如下技术方案：

一种带有交互功能的增强现实的方法，包括以下步骤：

步骤10)、初始化系统环境、配置系统参数；

步骤20)、选择或提取一幅标志物正视图，对标志物进行训练，获得训练数据；