[发明专利]一种基于递归卷积神经网络的单目视觉里程计方法

说明书

本发明公开了一种基于递归卷积神经网络的单目视觉里程计方法。该方法首先利用深度卷积神经网络充分提取图像的特征，然后借助于递归神经网络建立图像序列间的联系进行建模；同时利用卷积‑反卷积网络实现对图像的深度恢复。利用双目图像对间的对应像素匹配得到视图合成误差；利用估计的深度图得到左右视差一致性误差；利用左右目图像序列分别预测获得的相机位姿获得位姿一致性误差；利用左目图像序列和右目图像序列在时间上的前后连续性像素匹配得到序列视图合成误差，最小化误差从而获得最优神经网络模型参数。本发明对公开发布的多组图像数据集序列进行测试，并通过与现有方法的比较验证了本发明的有效性和优越性。

技术领域

本发明属于图像处理、计算机视觉和深度学习等技术领域，具体涉及一种基于递归卷积神经网络的单目视觉里程计方法。

背景技术

里程计技术是移动机器人利用传感器实现自身实时定位的关键技术，是实现路径规划、自主导航及完成其它任务的基础要求。一般情况下，里程计信息可以从旋转编码器、惯性测量元件(IMU)及GPS等传感器获取，但是在轮子打滑以及无GPS信号的情况下则不适用。在视觉里程计方面，现存很多优秀的基于几何结构的方法，包括特征点法、直接法和半直接法。基于特征点法的传统视觉里程计方法的处理流程为：特征提取、特征匹配和运动估计和优化，这些传统算法在精度与鲁棒性方面也都取得了不错的效果。然而这些方法都存在一些致命的缺点，如在特征缺失、图像模糊等情况下效果则不是很理想，并且特征点的提取与匹配计算量非常大，难以实现实时定位。而对于直接法而言，若光照变化剧烈则效果将变得非常差。同时，对于单目视觉里程计，还需要一些额外的信息(如相机高度)或先验信息来估计场景的尺度，易造成极大的尺度漂移。

近年来深度学习技术已经成功地应用到很多计算机视觉问题中，比如图像分类、深度估计、物体检测与语义分割等。然而在用于视觉自主导航方面还相当滞后，如视觉里程计(VO)、从运动恢复结构(Structure from Motion)、同时定位与建图(SLAM)等。据所查阅的国内外资料显示，这方面成果相对较少,基本还处于研究起步阶段。

相比传统视觉里程计算法，基于深度学习的方法替代了繁琐的公式计算，无需人工特征提取和匹配，显得简洁直观，并且在线运算速度快。2015年，Konda和Memisevic首次提出将深度学习用于估计相机速度和方向的改变。该方法主要分为两个步骤：首先提取图像的深度，然后对速度和方向的改变进行估计。它将多目视觉里程计作为分类问题来处理，精度无法与传统的视觉里程计算法相比。同年，Costante等人利用预处理好的光流图作为输入进行运动估计，以便更好的解决模型的通用问题，但是需要提前得到光流图难以实时应用。Kendal等人将视觉里程计作为回归问题来处理，提出了利用卷积神经网络来回归位姿的方法，在其基础上Li等人于2017年将RGB-D图像输入CNN网络来进行定位估计。Benjamin等人提出了一种将相机位姿和图像深度作为监督信息的深度学习算法，该网络将连续图像对作为输入，通过多层编码和解码网络可估计得到图像深度和相机运动。同年，Zhou等人提出了一种无监督深度学习算法，利用单目的图像序列实现深度估计和位姿估计。该网络由两个子网络组成:即深度估计网络和位姿估计网络。但是该系统不能恢复绝对的尺度，并且定位精度很差。

发明内容

本发明的目的是提供一种基于深度递归卷积神经网络的单目视觉里程计，利用深度卷积神经网络充分的对图像特征进行学习，同时利用深度递归神经网络学习图像整体的序列特征，结合时间上的连续性大大提高了单目视觉里程计的精度。本发明的目的在于解决传统单目视觉里程计技术中存在的问题，提出一种基于递归卷积神经网络的单目视觉里程计方法。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于递归卷积神经网络的单目视觉里程计方法，包括以下步骤：

步骤1：将单目彩色图像序列输入网络；

步骤2：深度估计网络估计图像的深度图并提取深度图的深度值；