[发明专利]基于多目相机的增强现实方法、装置及系统

说明书

本发明属于增强现实技术领域，具体提供了一种基于多目相机的增强现实方法、装置和系统，旨在解决现有技术无法在环境条件较差的场景下实现增强现实显示的技术问题。为此目的，本发明提供了一种基于多目相机的增强现实方法，包括根据预设的多目相机当前获取的场景图像信息构建场景地图；基于场景图像信息获取多目相机中每个相机的位姿信息；基于每个相机的位姿信息将待显示的目标物体叠加到场景地图的对应位置。基于上述步骤，本发明提供的基于多目相机的增强现实方法具有能够简化增强现实显示的处理流程，加快计算速度并且能够很好地应用于弱纹理环境中的有益效果。

技术领域

本发明属于增强现实技术领域，具体涉及一种基于多目相机的增强现实方法、装置和系统。

背景技术

SLAM(simultaneous localization and mapping，即时定位与地图构建)在无人驾驶、增强现实显示领域得到广泛的应用。SLAM技术主要包括场景定位和地图重建两个任务，即在建立环境地图的同时对当前相机的位姿信息进行定位。

传统的SLAM技术主要是基于单目相机进行场景定位和稀疏地图重建，基于单目相机的SLAM解决方案虽然运行较快，但是得不到稠密的深度地图信息，在缺乏纹理特征的环境中难以运行，并且得不到实际场景的尺度信息，传统的稀疏SLAM技术难以直接应用在如增强现实显示等领域。随着技术的发展，除了传统的SLAM技术外，现有技术还包括基于深度相机的SLAM系统、基于半稠密的SLAM系统以及基于激光雷达的SLAM系统等等，现有的这些系统虽然都可以产生带有尺度信息的相对稠密的地图信息，但是均各自存在着一些缺点。

基于深度相机的SLAM系统和基于激光雷达的SLAM系统虽然都可以得到稠密的深度信息，但是深度相机和激光雷达本身受环境和距离的限制非常大，难以应用到例如内窥镜等近距离的场景中；基于半稠密的SLAM系统只能在纹理丰富的场景中获取深度信息，难以应用于增强现实显示任务。现有的SLAM系统均受设备本身的限制，对环境条件要求较高，无法在环境条件较差的场景下生成稠密的深度地图信息。

因此，如何提出一种在环境条件较差的情况下实现增强现实显示的方案是本领域技术人员目前需要解决的问题。

发明内容

为了解决现有技术中的上述问题，即为了解决现有技术无法在环境条件较差的场景下实现增强现实显示的问题，本发明的第一方面提供了一种基于多目相机的增强现实方法，包括：

根据预设的多目相机当前获取的场景图像信息构建场景地图；

基于所述场景图像信息获取所述多目相机中每个相机的位姿信息；

基于所述每个相机的位姿信息将待显示的目标物体叠加到所述场景地图的对应位置。

在上述方法的优选技术方案中，“根据预设的多目相机当前获取的场景图像信息构建场景地图”的步骤包括：

根据预设的多目相机当前获取的所述场景图像信息按照下式所示的方法构建代价矩阵：

其中，C(x,d)表示所述代价矩阵，N_b表示用以构建当前代价矩阵的图像帧数，Λ表示光度差衡量函数，d_ci(d)表示第ci个相机根据EPI约束获取的当前场景的深度信息；

根据所述代价矩阵获取场景的深度信息，基于所述深度信息构建场景地图。

在上述方法的优选技术方案中，在“根据所述代价矩阵获取场景的深度信息”的步骤之后，所述方法还包括：

根据所述多目相机当前获取的所述场景的图像信息以及预先构建的深度信息优化能量函数对当前获取的场景的深度信息进行优化。