[发明专利]一种实现增强现实的方法及设备

说明书

本发明公开了一种实现增强现实的方法及设备，包括：实时采集包含目标图像的环境场景图像；通过图像检索从预先建立的图像检索数据库中检索到与当前帧目标图像对应的样本图像，并获取与当前帧目标图像对应的虚拟对象；利用所述检索到的样本图像和当前帧目标图像的特征数据进行图像配准，计算出当前帧目标图像的第一姿态；利用Slam算法对当前帧目标图像和与其相邻的至少一帧目标图像进行图像配准，计算出当前帧目标图的第二姿态；根据所述第一姿态和所述第二姿态，计算出当前帧目标图像对应的物体坐标系和世界坐标系之间的转换关系；根据所述转换关系，获取当前帧目标图像在世界坐标系中的目标区域，并将所述虚拟对象叠加在所述目标区域中进行显示。

技术领域

本发明涉及增强现实技术领域，尤其涉及一种实现增强现实的方法及设备。

背景技术

增强现实技术(Augmented Reality，AR)借助计算机图形技术和可视化技术生成现实环境中不存在的虚拟对象，并通过图像识别定位技术将虚拟对象准确地融合到真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者真实的感观体验。

现有的AR-Glass设备通过SLAM算法根据输入端(灰度摄像头、彩色摄像头、深度摄像头、传感器设备等器件中的一种或多种)数据得到场景3D信息(三维重建)和设备在场景中的姿态(位置和旋转数据)，并通过video see-through或者optical see-through的方式呈现真实场景。同时根据SLAM算法得到的场景3D信息和设备在场景中的姿态在真实场景中融合显示虚拟信息(文字、图片、视频、三维模型、独立的三维场景等)。但是，在显示虚拟信息时通常是通过预设其在真实场景中的姿态或者让用户手动控制虚拟信息移动到想要显示的姿态，这种方式操作复杂而且虚实融合会存在较大偏差的问题。

发明内容

本发明提供一种实现增强现实的方法及设备，能够自动控制虚拟信息移动到想要显示的姿态，简化操作且能够有效降低虚实融合存在的偏差。

本申请实施例第一方面提供了一种实现增强现实的方法，包括：

实时采集包含目标图像的环境场景图像；

通过图像检索从预先建立的图像检索数据库中检索到与当前帧目标图像对应的样本图像，并获取与当前帧目标图像对应的虚拟对象，其中，所述图像检索数据库中存储有每个样本图像对应的特征数据集，每个样本图像对应的特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；

利用所述检索到的样本图像和当前帧目标图像的特征数据进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态；

利用Slam算法对当前帧目标图像和与其相邻的至少一帧目标图像进行图像配准，计算出当前帧目标图像对应的世界坐标系相对于相机坐标系的第二姿态；

根据所述第一姿态和所述第二姿态，计算出当前帧目标图像对应的物体坐标系和世界坐标系之间的转换关系；

根据所述转换关系，获取当前帧目标图像在世界坐标系中的目标区域，并将所述虚拟对象叠加在所述目标区域中进行显示。

可选的，所述利用所述检索到的样本图像和当前帧目标图像的特征数据集进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态，具体包括：

对当前帧目标图像进行特征提取，提取出的场景特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；

从图像检索数据库中查找到所述检索到的样本图像对应的样本特征数据集，并利用所述场景特征数据集和所述样本特征数据集的特征点进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态。

可选的，所述根据所述转换关系，获取当前帧目标图像中的目标图像在世界坐标系中的目标区域，具体包括：