[发明专利]一种单目视频的深度估计方法、装置、终端和存储介质

说明书

本发明实施例公开了一种单目视频的深度估计方法、装置、终端和存储介质。该方法包括：获取单目视频的图像帧序列，并根据相机姿态估计算法，计算序列中相邻两张图像帧之间的姿态关系；依次将序列中的各图像帧作为预设神经网络模型的输入，并根据预设神经网络模型的输出确定各图像帧的初始深度图和初始不确定度分布图；根据各姿态关系以及各图像帧的初始深度图和初始不确定度分布图进行帧间信息传递和融合，依次确定各图像帧的最终深度图和最终不确定度分布图。本发明实施例的技术方案，可以对单目视频的图像帧进行深度修复，不但提高了深度图的预测精度，而且能够获得深度图的不确定度分布。

技术领域

本发明实施例涉及图像处理技术，尤其涉及一种单目视频的深度估计方法、装置、终端和存储介质。

背景技术

在计算机视觉研究领域中，越来越多的人们研究单目深度估计方法，即利用单幅图像之中隐含的视觉信息如尺寸，阴影，平面等，与真实深度值之间的映射关系来进行深度估计。单目深度估计有很多应用，比如场景理解，语义分割，三维建模，机器人避障等。传统的单目估计方法主要依赖于运动恢复结构(Structure-from-Motion，SfM)技术，或者是在机器人领域应用广泛的基于单目相机的即时定位与地图重建(SimultaneousLocalization and Mapping，SLAM)技术。SfM与SLAM利用多视角的图像去估计单目相机的姿态，在得到相机姿态之后，通过对应点进行三角测量得到深度信息。起初的单目深度估计的方法采用了手工设计的特征和概率图解模型用来生成深度图。

但随着深度学习技术的不断进步，越来越多的人们使用基于卷积神经网络(Convolutional Neural Network，CNN)的方法来进行单目深度估计。通常，利用有监督学习的CNN模型来进行单目深度的估计。对于有监督的方法，可以将深度传感器(例如激光雷达、红外结构光等)得到的深度图作为训练的标签，通过最小化CNN的预测结果和真实的深度图之间的误差来训练CNN模型，并采用全卷积网络和残差学习相结合的方式来进行深度图的预测。有监督的CNN模型的网络结构主要有两部分组成，第一部分是粗略的估计一个全局的深度图，第二部分针对第一部分的结果进行局部的修复和优化。

然而，现有的用于单目深度估计的有监督学习CNN模型只能预测和输出深度图，无法同时对深度图对应的不确定度分布图进行估计和输出，使得现有的单目深度估计网络模型预侧的深度图精度不高。

发明内容

本发明实施例提供了一种单目视频的深度估计方法、装置、终端和存储介质，以对单目视频的图像帧进行深度修复，提高深度图的预测精度。

第一方面，本发明实施例提供了一种单目视频的深度估计方法，包括：

获取单目视频的图像帧序列，并根据相机姿态估计算法，计算所述序列中相邻两张图像帧之间的姿态关系；

依次将所述序列中的各图像帧作为预设神经网络模型的输入，并根据所述预设神经网络模型的输出确定各所述图像帧的初始深度图和初始不确定度分布图；

根据各所述姿态关系以及各所述图像帧的初始深度图和初始不确定度分布图进行帧间信息传递和融合，依次确定各所述图像帧的最终深度图和最终不确定度分布图。

第二方面，本发明实施例还提供了一种单目视频的深度估计装置，包括：

姿态关系确定模块，用于获取单目视频的图像帧序列，并根据相机姿态估计算法，计算所述序列中相邻两张图像帧之间的姿态关系；

初始深度信息确定模块，用于依次将所述序列中的各图像帧作为预设神经网络模型的输入，并根据所述预设神经网络模型的输出确定各所述图像帧的初始深度图和初始不确定度分布图；

最终深度信息确定模块，用于根据各所述姿态关系以及各所述图像帧的初始深度图和初始不确定度分布图进行帧间信息传递和融合，依次确定各所述图像帧的最终深度图和最终不确定度分布图。