[发明专利]SLAM系统的初始化、AR控制方法、装置和系统

说明书

本发明提供一种同时定位与地图构建(Simultaneous Localization And Mapping，SLAM)系统的初始化、现实增强(Augmented Reality，AR)控制方法、装置和系统。该方法包括：根据重力方向、电子设备的主摄像头沿第一方向拍摄得到的主图像和同一时刻电子设备的备摄像头拍摄得到的备图像，确定主摄像头的对面高度；根据重力方向和对面高度确定参考面；将主图像投影到参考面中，确定主图像中至少一个特征点的三维坐标信息和/或深度信息。本发明实施例提高了SLAM的初始化速度，也提高了对面高度的准确性和视觉初始化过程中地图构建的准确性。

技术领域

本发明涉及计算机图像处理技术，尤其涉及一种SLAM系统的初始化、AR控制方法、装置和系统。

背景技术

SLAM系统可广泛应用于增强现实、虚拟现实、机器人和自动驾驶等领域。SLAM系统用于获取所在的电子设备自身姿态、电子设备所在的环境以及电子设备在环境中的位置。

当用户使用电子设备时，SLAM系统首先进行初始化，获取电子设备的初始运动状态信息以及电子设备所在环境的初始环境信息，然后再据此进行电子设备状态跟踪、场景的地图实时构建等处理。SLAM系统初始化速度的快慢影响了用户使用电子设备的等待时长，且SLAM系统初始化获取的信息的准确度也影响了基于SLAM系统实现增强现实等应用的效果。

发明内容

本发明实施例提供一种SLAM系统的初始化技术方案和AR控制技术方案。

第一方面，本发明实施例提供一种基于双摄像头的SLAM系统的初始化方法，包括：

根据重力方向、电子设备的主摄像头沿第一方向拍摄得到的主图像和同一时刻所述电子设备的备摄像头拍摄得到的备图像，确定所述主摄像头的对面高度；

根据所述重力方向和所述对面高度确定参考面；

将所述主图像投影到所述参考面中，确定所述主图像中至少一个特征点的三维坐标信息和/或深度信息。

在第一方面的一种可行的实施方式中，所述参考面包括：地平面或水平物面。

在第一方面的一种可行的实施方式中，SLAM系统的初始化方法还包括：根据所述电子设备的重力传感器获得所述重力方向。

在第一方面的一种可行的实施方式中，所述主摄像头和所述备摄像头设于所述电子设备的同一平面。

在第一方面的一种可行的实施方式中，SLAM系统的初始化方法还包括：

获取所述主摄像头朝向除所述第一方向之外的至少一个其他方向拍摄的视频；

确定所述视频中至少一帧图像中的相对于所述主图像的共同特征点；

根据所述共同特征点，将所述参考面按照所述至少一帧图像中的每帧图像对应的主摄像头的位置和朝向信息分别投影到所述每帧图像中，获取所述每帧图像中的特征点的初始三维坐标信息。

在第一方面的一种可行的实施方式中，SLAM系统的初始化方法还包括：

对所述特征点的初始三维坐标信息进行非线性优化，获取每个特征点优化后的三维坐标信息以及所述每帧图像对应的主摄像头的朝向和位置；

根据所述每帧图像对应的主摄像头的位置和朝向信息确定相应特征点的深度信息。

在第一方面的一种可行的实施方式中，所述获取所述主摄像头朝向除所述第一方向之外的至少一个其他方向拍摄的视频，包括：

获取所述主摄像头在移动过程中拍摄得到的视频。

在第一方面的一种可行的实施方式中，所述获取所述主摄像头在移动过程中拍摄得到的视频之前，SLAM系统的初始化方法还包括：