[发明专利]一种实现增强现实的方法、服务器、终端及系统

权利要求书

1.一种实现增强现实的方法，其特征在于，包括以下步骤：

预先获取环境场景的视频图像，对其中的图像帧进行图像特征提取；

根据所述图像特征对所述环境场景视频图像进行帧间图像配准，计算所述图像帧之间的相对位姿；

在所述环境场景视频图像中选定离线初始帧，根据所述离线初始帧建立所述环境场景的世界坐标系，确定所述环境场景中的3D点的坐标；

根据所述环境场景视频图像中的离线初始帧确定所述环境场景视频图像中的离线关键帧；

根据所述环境场景视频图像中的离线初始帧与当前帧之间所有离线关键帧的位姿及3D点坐标构建位姿图，以对所述环境场景进行三维场景重建；

根据所述环境场景视频图像，构建所述环境场景的图像检索数据库，且预设待显示的虚拟对象在所述环境场景中的位姿；

实时采集环境场景的图像；

根据所述环境场景图像的上一帧图像，检测所述环境场景图像的当前帧图像中与所述上一帧图像匹配的图像特征，通过所述匹配的图像特征以对实时采集的所述环境场景图像中的图像帧进行跟踪；

根据待显示的虚拟对象的位姿，在实时采集的所述环境场景图像的当前帧图像中显示所述虚拟对象。

2.根据权利要求1所述的实现增强现实的方法，其特征在于，所述根据所述环境场景视频图像，构建所述环境场景的图像检索数据库的步骤，具体为：

根据所述环境场景视频图像中的离线初始帧及离线关键帧中的图像特征，建立搜索树或者词袋。

3.根据权利要求1至2中任一项所述的实现增强现实的方法，其特征在于，所述通过所述匹配的图像特征以对所述环境场景图像中的图像帧进行跟踪，具体为：

判断所述匹配的图像特征数是否大于预设阈值；

若所述匹配的图像特征数大于预设阈值，则根据所述环境场景图像的上一帧图像的位姿及3D点坐标确定所述环境场景图像的当前帧图像的位姿及3D点坐标；

若所述匹配的图像特征数小于预设阈值，则在所述环境场景的图像检索数据库中检索与所述环境场景图像的当前帧图像匹配的离线关键帧图像，根据所述离线关键帧图像的位姿及3D点坐标，确定所述环境场景图像的当前帧图像的位姿及3D点坐标。

4.根据权利要求3所述的实现增强现实的方法，其特征在于，所述根据待显示的虚拟对象的位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象的步骤，具体为：

获取待显示的虚拟对象的位姿，根据所述环境场景图像的当前帧与所述待显示的虚拟对象之间的相对位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。

5.一种实现增强现实的服务器，其特征在于，包括：

视频获取模块：用于获取环境场景的视频图像；

场景重建模块：包含特征提取单元、位姿计算单元、坐标建立单元、关键帧选取单元及位姿图构建单元的场景重建模块，其中，

所述特征提取单元：用于对所述环境场景视频图像中的图像帧进行图像特征提取；

所述位姿计算单元：用于根据所述特征提取单元提取到的图像特征对所述环境场景视频图像进行帧间图像配准，计算所述帧之间的相对位姿；

所述坐标建立单元，用于在所述环境场景视频图像中选定离线初始帧，根据所述离线初始帧建立所述环境场景的世界坐标系，确定所述环境场景中的3D点的坐标；

所述关键帧选取单元：用于根据所述环境场景视频图像中的离线初始帧确定所述环境场景视频图像中的离线关键帧；

所述位姿图构建单元：用于根据所述环境场景视频图像中的离线初始帧与当前帧之间所有离线关键帧的位姿及3D点坐标构建位姿图，以及对所述位姿图进行优化，更新所述位姿及3D点坐标；

数据库构建模块：用于根据所述视频获取模块获取的环境场景视频图像，构建所述环境场景的图像检索数据库；

以及，

检索模块：用于接收终端发送的图像帧检索请求，以及在所述环境场景的图像检索数据库中检索与所述检索请求中的图像帧对应的所述环境场景视频图像中的离线关键帧，并将所述离线关键帧的位姿及3D点坐标发送至所述终端。