[发明专利]一种单目深度估计方法、装置、终端和存储介质

说明书

本发明实施例公开了一种单目深度估计方法、装置、终端和存储介质。该方法包括：获取单目视频；根据预设重建算法确定所述单目视频中关键图像帧对应的半稠密深度图；将所述关键图像帧与所述半稠密深度图作为预设神经网络模型的输入，根据所述预设神经网络模型的输出确定所述关键图像帧对应的稠密深度图。本发明实施例的技术方案，将预设重建算法和预设神经网络模型进行有效结合，从而可以获取稠密且精度高的深度图。

技术领域

本发明实施例涉及图像处理技术，尤其涉及一种单目深度估计方法、装置、终端和存储介质。

背景技术

深度估计在自动驾驶、机器人避障、增强现实等领域中具有重要的研究意义。深度估计方法可以用于估计图像中各像素点的深度信息，以获得该图像的深度图。现有技术中可以通过多个传感器如激光雷达、深度相机来直接获取深度信息，但由于这些传感器具有一定的体积以及较高的成本，从而限制了深度估计的应用范围。可见，若仅采用一台相机进行深度估计，则可以大大简化应用场景。

目前，利用单目相机进行深度估计的方法存在两种。第一种是基于卷积神经网络(Convolutional Neural Network，CNN)，对单张图像进行单目深度估计的方法，即利用单目图像对卷积神经网络的进行训练，使得卷积神经网络可以理解场景中的几何关系，进而预测出单目图像对应的深度图。第二种是基于即时定位与地图重建(SimultaneousLocalization and Mapping，SLAM)算法，实时估计相机位姿并重建相机所处的环境地图。

然而，对于第一种估计方法，虽然可以预测出稠密的深度图，但由于神经网络仅局限于语义理解，不存在几何的测量信息，从而导致利用该神经网络预测出的深度图精度较差，缺乏可信度并且网络的泛化能力也较低。对于第二种估计方法，通过多视图几何的解算可以得到较为准确的深度值，但无论是基于特征点法的SLAM系统如ORB(Oriented FASTand Rotated BRIEF)-SLAM算法，还是基于直接法的SLAM系统如大范围单目LSD(Large-scale Direct)-SLAM算法，只能得到少量的特征点或者高梯度点的深度信息，从而无法得到稠密的深度图，只能得到稀疏或者半稠密的深度图。可见，利用现有的单目深度估计方法无法得到稠密且精度较高的深度图。

发明内容

本发明实施例提供了一种单目深度估计方法、装置、终端和存储介质，以获取稠密且精度高的深度图。

第一方面，本发明实施例提供了一种单目深度估计方法，包括：

获取单目视频；

根据预设重建算法确定所述单目视频中关键图像帧对应的半稠密深度图；

将所述关键图像帧与所述半稠密深度图作为预设神经网络模型的输入，根据所述预设神经网络模型的输出确定所述关键图像帧对应的稠密深度图。

第二方面，本发明实施例还提供了一种单目深度估计装置，包括：

单目视频获取模块，用于获取单目视频；

半稠密深度图确定模块，用于根据预设重建算法确定所述单目视频中关键图像帧对应的半稠密深度图；

稠密深度图确定模块，用于将所述关键图像帧与所述半稠密深度图作为预设神经网络模型的输入，根据所述预设神经网络模型的输出确定所述关键图像帧对应的稠密深度图。

第三方面，本发明实施例还提供了一种终端，所述终端包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

输入装置，用于采集单目视频；

输出装置，用于显示稠密深度图；