[发明专利]基于在线学习深度预测网络的实时稠密单目SLAM方法与系统

说明书

本发明公开了一种基于在线学习深度预测网络的实时稠密单目SLAM方法：通过最小化高梯度点的光度误差优化得到关键帧的相机姿态，并且采用三角测量法预测高梯度点的深度得到当前帧的半稠密地图；选择在线训练图片对，采用逐块随机梯度下降法在线训练更新CNN网络模型，并利用训练后CNN网络模型对当前帧图片进行深度预测得到稠密地图；根据所述当前帧的半稠密地图和预测稠密地图进行深度尺度回归，得到当前帧深度信息的绝对尺度因子；采用NCC得分投票方法根据所述两种投影结果选择所述当前帧的各像素深度预测值得到预测深度图，并对所述预测深度图进行高斯融合得到最终深度图。本发明还提供了相应的基于在线学习深度预测网络的实时稠密单目SLAM系统。

技术领域

本发明属于计算机视觉三维重建技术领域，更具体地，涉及一种基于在线学习深度预测网络的实时稠密单目SLAM方法与系统。

背景技术

即时定位与地图重建技术(Simultaneous Localization And Mapping，SLAM)可以实时的预测传感器的位姿并且重建出周围环境的3D地图，因此在无人机避障以及增强现实等领域发挥着重要的作用。其中，仅仅依靠单个摄像头作为输入传感器的SLAM系统被称为单目SLAM系统。单目SLAM具有低功耗、硬件门槛低以及操作简单等特性，被研究人员广泛使用。但是，现有流行的单目SLAM系统，无论是基于特征方法的PTAM(Parallel TrackingAnd Mapping For Small AR Workspaces)和ORB-SLAM(Orb-slam:AVersatile AndAccurate Monocular Slam System)，还是采用直接法的LSD-SLAM(Lsd-slam:Large-scaleDirect Monocular Slam)，都存在两个主要的问题：(1)只能构建出场景的稀疏或者半稠密的地图，因为只有少数关键点或是高梯度点的深度可以计算出来；(2)具有尺度不确定性，存在尺度飘移的现象。

近几年，用于单目图片深度估计的深度卷积神经网络(Convolutional NeuralNetwork，CNN)已经取得了巨大的进步，其主要原理是在大量的训练数据之中学习物体的深度和形状、纹理、场景语义以及场景上下文等之间的内在联系，从而准确预测输入到网络之中图片的深度信息。将CNN与单目SLAM结合不但可以提高建图的完整率，还可以获得绝对的尺度信息，因此弥补了单目SLAM的缺陷与不足。目前，最成功将两者结合的系统被称为CNN-SLAM(Cnn-slam:Realtime Dense Monocular Slam With Learned Depth Prediction)，该系统把CNN深度预测的结果作为SLAM关键帧的初始深度值，然后采用像素匹配、三角测量和图优化的方法对关键帧中高梯度点的深度进行优化，从而获得稠密的3D重建结果，并使尺度信息更加接近真实尺度。虽然取得了一定的效果，但是该系统仍存在以下问题：

(1)只有少数高梯度像素点的深度值被优化，大部分低梯度像素点的深度值没有变化，造成重建效果不理想，特别是对于未知场景；(2)利用CNN输出之中高梯度像素点的深度信息来预测尺度信息不够准确，造成初始化不够充分，会增大SLAM系统建图和追踪的误差。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种将在线学习深度预测网络与单目SLAM相结合的方法与系统，其目的在于充分利用深度卷积神经网络的优势实现对于单目SLAM系统关键帧的稠密深度估计，并根据结果恢复场景真实尺度信息，由此解决传统单目SLAM缺少尺度信息和不能实现稠密建图的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于在线学习深度预测网络的实时稠密单目SLAM方法，包括：

(1)从单目视觉传感器通过旋转和平移运动采集的图片序列中选择关键帧，通过最小化高梯度点的光度误差优化得到关键帧的相机姿态，并且采用三角测量法预测高梯度点的深度得到当前帧的半稠密地图；