[发明专利]一种实现增强现实的方法、服务器、终端及系统

说明书

本发明提供一种实现增强现实的方法，包括以下步骤：实时采集环境场景的图像；提取环境场景图像中的图像特征；根据图像特征，对环境场景进行初始化定位，建立环境场景的局部地图；对环境场景图像中的图像帧进行跟踪；根据待显示的虚拟对象的位姿，在环境场景图像的当前帧图像中显示虚拟对象。本发明同时提供一种实现增强现实的服务器、终端及系统。本发明实现增强现实的方法、服务器、终端及系统，能够实现在无模板的情况下对环境场景或目标对象进行虚拟对象的图像叠加显示，有效地降低了现有的增强现实技术对平面模板的依赖，提高了虚拟对象与真实环境场景的实时配准的准确性，显著地增强了虚拟对象叠加到环境场景图像中的协调性与一致性。

技术领域

本发明涉及人工智能及计算机视觉技术领域，尤其涉及一种实现增强现实的方法、服务器、终端及系统。

背景技术

同时定位与地图创建(Simultaneous Localization and Mapping，SLAM)，是一项应用于在未知环境中自主地图创建与自身定位相结合的技术，是当前自主导航领域的研究热点，目标是解决在进入未知环境后，如何感知周围环境并构建增量式地图，同时进行自身定位的问题，目前主要应用于无人驾驶、机器人及场景三维重建等技术方向。

增强现实技术(Augmented Reality，AR)借助计算机图形技术和可视化技术生成现实环境中不存在的虚拟对象，并通过图像识别定位技术将虚拟对象准确地融合到真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者真实的感观体验。增强现实技术要解决的首要技术难题是如何将虚拟对象准确地融合到真实世界中，也就是要使虚拟对象以正确的角度姿态出现在真实场景的正确位置上，从而产生强烈的视觉真实感。

现有技术中，目前较为常见的是基于平面模板的增强现实技术方案，通过对纹理特征丰富的平面模板进行训练，确定虚拟对象的显示位置。但是，受平面模板的限制，该技术方案对非平面物体及纹理特征偏少的物体的适用性较差。因此，如何在不同类型的真实场景中准确地确定虚拟对象的位置，实现虚拟对象在真实场景中的叠加融合，是增强现实技术发展中亟待解决的技术问题之一。

发明内容

本发明的目的在于提供一种实现增强现实的方法、服务器、终端及系统，将增强现实技术和同时定位与地图创建技术相结合，通过离线场景地图构建与在线初始化，实现虚拟对象在真实场景中的融合显示。

有鉴于此，本发明一方面提供一种实现增强现实的方法，包括以下步骤：实时采集环境场景的图像；提取所述环境场景图像中的图像特征；根据所述图像特征，对所述环境场景进行初始化定位，建立所述环境场景的局部地图；对所述环境场景图像中的图像帧进行跟踪；根据待显示的虚拟对象的位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。

优选地，所述实时采集环境场景的图像的步骤之前，还包括：获取所述环境场景的视频图像；根据所述环境场景视频图像，对所述环境场景进行三维场景重建；根据所述环境场景视频图像，构建所述环境场景的图像检索数据库；根据所述环境场景视频图像，预设所述待显示的虚拟对象在所述环境场景中的位姿。

优选地，所述根据所述环境场景视频图像，对所述环境场景进行三维场景重建的步骤，具体为：对所述环境场景视频图像中的图像帧进行图像特征提取；根据所述图像特征对所述环境场景视频图像进行帧间图像配准，计算所述图像帧之间的相对位姿；在所述环境场景视频图像中选定离线初始帧，根据所述离线初始帧建立所述环境场景的世界坐标系，确定所述环境场景中的3D点的坐标；根据所述环境场景视频图像中的离线初始帧确定所述环境场景视频图像中的离线关键帧；根据所述环境场景视频图像中的离线初始帧与当前帧之间所有离线关键帧的位姿及3D点坐标构建位姿图，对所述位姿图进行优化，更新所述位姿及3D点坐标。

优选地，所述根据所述环境场景视频图像，构建所述环境场景的图像检索数据库的步骤，具体为：根据所述环境场景视频图像中的离线初始帧及离线关键帧中的图像特征，建立搜索树或者词袋。