[发明专利]一种基于图像梯度联合优化的双目视觉里程计算方法

说明书

本发明公开了一种基于图像梯度联合优化的双目视觉里程计算方法。对输入双目视频进行预处理，计算双目视频帧的视差图获得度量距离；缩放形成多尺度的图像组成金字塔模型，计算特征获得一系列特征图像；根据度量距离用卡尔曼滤波器对图像进行处理预测估计相机姿态的运动过程，卡尔曼滤波器内搭建有相机的运动模型；使用基于梯度的双目视觉导航算法计算当前帧准确的相机姿态；用当前帧的相机姿态更新卡尔曼滤波器内的相机运动模型。本发明提出了结合两种梯度展开的优化算法，创新地利用图像梯度作为特征有效地避免了户外光照变化的影响，并且参考多个关键帧对相机姿态进行优化,得到了一个性能较好并可同时进行稠密三维重建的实时双目视觉里程计算方法。

技术领域

本发明涉及计算机视觉领域以及图像处理的相关技术，尤其涉及了一种基于图像梯度联合优化的双目视觉里程计算方法。

背景技术

经过近些年的探索和发展，计算机视觉已经在机器人、自动驾驶、数字娱乐、医疗健康、安防监控、军事技术等很多领域具有应用场景。视觉里程计不仅是机器人与无人车视觉导航系统的重要组成部分，也是计算机视觉和机器人领域的重要研究分支，本发明致力于提出一种快速有效的双目视觉里程计方法。视觉里程计是目标定位、姿态估计、地图绘制、场景理解等课题的研究基础和前提，一个优秀的视觉里程计算方法能为以上诸多研究课题提供强有力的支持和保障。

视觉里程计算方法的主要任务是从输入视频中实时估计出相机当前相对于起始参照状态的相对6自由度姿态，包括X-Y-Z三个坐标轴的相对位移，以及三个围绕坐标轴的旋转。同时，用于估计相机姿态的副产品为场景的稀疏或稠密重建。基于稀疏特征点匹配的方法需要三角化不同视频帧的匹配点得到三维稀疏重建，而基于直接图像对准的方法则利用双目视觉获得稠密的三维重建结果，为场景重建建立了基础。因此，视觉里程计算方法不仅提供了全局的姿态和位置信息，并且完成了初步的地图绘制与场景重建，是机器人以及无人车自主导航系统的第一步，有着至关重要的作用。

视觉里程计是机器人和计算机视觉领域中的重要课题，是增强现实、自动驾驶汽车、机器人导航等应用的核心技术。目前主流的视觉里程计以及同时定位和地图重建算法通常采用了基于系数特征点匹配的解决方案，不能够完全利用整幅图像的信息，而且只能对场景进行稀疏重建。另一方面，基于直接图像对准的方案则使用整幅图像的信息，而且可以生成场景的密集点云，是具有广阔前景的技术方向。然而直接法的主要缺陷是相机小运动假设以及趋于收敛到局部最优，使该类方法在KITTI视觉里程计测试中性能弱于基于特征点匹配的策略。

在目前的视觉导航KITTI评测平台中，基于稠密观测的直接视觉导航方法未能取得理想的结果，其主要原因可以归结为下述几点：1)基于Lucas-Kanade框架[3]的图像对准理论收敛域有限，无法应对数据集中10Hz采样的大位移场景，需要非常好运动估计方法进行补偿；2)KITTI数据集源于实际的驾驶场景，涵盖包括城市、乡村和高速公路等不同的驾驶环境，直接使用像素灰度值与仿射光照模型无法应对如路面反光、树阴和建筑阴影等复杂环境光照环境影响；3)不完美的相机标定以及立体视觉匹配算法准确度直接影响视觉导航结果的精度，目前的立体视觉匹配均评估覆盖度内的视差估计精度，而视觉导航需要精确的点对点视差估计，位于立体视觉评测排行前列的算法未能有效提升导航精度。

发明内容

为了解决背景技术中存在的问题，本发明提出了一种基于图像梯度联合优化的双目视觉里程计算方法，实现了从视频序列中估计相机姿态和位置。

本发明采用的技术方案是包括如下步骤：

1)对输入双目视频进行预处理；

2)计算双目视频帧的视差图，获得度量距离；

3)将预处理后的图像进行缩放形成多个尺度的图像，组成金字塔模型，并对金字塔模型中的各个尺度图像计算特征，获得一系列特征图像；

4)根据度量距离用卡尔曼滤波器对图像进行处理预测估计相机姿态的运动过程，卡尔曼滤波器内搭建有相机的运动模型；