[发明专利]一种直接法无监督单目图像场景深度估计方法

说明书

本发明公开了一种直接法无监督单目图像场景深度估计方法，属于计算机视觉、深度估计领域，包括如下步骤：构建神经网络；图像重投影误差计算；图像蒙版计算和相机位姿更新。本发明方法克服了单目图像深度估计对环境要求高、容易受到低纹理区域干扰、相机位姿估计精度差等缺陷，而且通过将传统的单目深度估计问题与视觉里程计相结合，不仅显著提高了深度估计精度，对移动车辆的定位与导航也有辅助作用；本发明具有精度高、灵活性强、应用范围广等诸多优势，可用于自动驾驶车辆、移动机器人等设备的周围环境感知、防碰撞和定位导航，有多种应用场景。

技术领域

本发明属于计算机视觉、神经网络、深度估计领域，更具体地，涉及一种直接法无监督单目图像场景深度估计方法。

背景技术

目前，深度估计在神经网路、传感器等相关技术的推动下，得到了飞速发展，并且在智能机器人、行人识别、人脸解锁、VR应用和自动驾驶等领域得到了广泛地应用。深度估计的首要任务是根据摄像头采集到的单张彩色图像估计出前方物体到摄像头的距离。

从真实场景中获得场景对应的三维信息主要有两种方式：一是使用能够感知场景三维深度信息的传感器来采集场景中的深度信息，另一种方式是从场景对应的二维图像中恢复三维深度信息。结构光和飞行时间测距法(ToF)是目前常用的基于传感器的深度估计算法。结构光技术由一个特殊的投影仪和摄像头组成，摄像头通过采集投影仪发出的特定的光信息投影到场景之后的变化获得场景的三维信息。结构光使用特殊的传感器采集高精度的场景三维信息，目前在面部解锁、安全支付等领域被广泛采用。但是由于技术原理限制只能用在近距离物体测距和小场景范围内使用，所以并不适用于道路场景下的深度估计。ToF是另一种常用的深度信息采集技术，它利用信号在两个收发器之间的往返飞行时间来获得深度信息。手机中常用的深度摄像头和激光雷达测距设备都是使用ToF技术获得场景的高精度深度图，ToF技术在AR、体感游戏和自动驾驶领域都有广泛的应用，但是ToF需要的激光雷达和传感器价格昂贵，而且应用于自动驾驶的车顶激光雷达体积过大存在局限性，所以从场景对应的二维图像中恢复三维深度信息逐渐成为主流。

基于图像的深度估计可以分为监督学习和无监督学习，监督学习的方法都依赖于训练图片对应的深度三维地图。通常深度三维地图都是由雷达传感器采集获得，所以基于神经网络的监督学习方法的训练数据集规模通常很小，而且数据集获得的成本也很高，这极大的限制了监督学习方法的可迁移性和适应性。

无监督学习依据恢复深度时需要的相机数目，通常可以分为多目、单目和双目深度估计方法。传统的深度估计方法主要是基于特征点匹配和环境假设的几何约束，双目法和多目深度估计法需要精准的摄像头外参数，而且无法消除外参变化带来的误差。而单目图像深度估计法只需要相机的内参并且不需要特征匹配过程，算法更加的简洁，适应范围更加广泛。

发明内容

针对现有技术中存在的上述技术问题，本发明提出了一种直接法无监督单目图像深度估计方法，不仅显著提高了深度估计精度，而且对移动车辆的定位与导航也有辅助作用，设计合理，克服了现有技术的不足，具有良好的效果。

为了实现上述目的，本发明采用如下技术方案：

一种直接法无监督单目图像场景深度估计方法，包括如下步骤：

步骤1：构建深度估计神经网络,以单目连续图像作为输入图像，利用深度估计神经网络输出深度估计图像；

步骤2：计算初始相机位姿，利用输入图像的上一帧图像与深度估计神经图像以及相机位姿计算重投影图像，并将重投影图像与当前帧图像进行重投影误差计算，利用反向传播进行深度估计神经网络的参数更新，获得一个新的深度估计图像；

步骤3：利用重投影图像与输入图像计算图像蒙版，更新前后两帧图像之间的相机位姿估计，重复迭代步骤2、3。

优选地，在步骤1中，具体包括如下步骤：