[发明专利]一种多尺度增强式的单目深度估计方法

说明书

本发明提供一种多尺度增强式的单目深度估计方法，包括如下步骤：步骤1，输入单幅RGB图像，而后采用上下文及感受野增强型高分辨率网络CRE‑HRNet对所述RGB图像进行多尺度特征提取，得到高分辨率的第一图像；步骤2，采用感受野增强模块的残差膨胀卷积单元对所述第一深度图像进行扩张卷积，得到第二图像；步骤3，采用加权非局部邻域模块捕捉所述第二深度图像的远距离像素点，得到深度图像。本发明的方法能够在得到中间层的特征信息的基础上，使其单目深度估计精度高。

技术领域

本发明属于深度学习的计算机视觉领域，具体涉及一种多尺度增强式的单目深度估计方法。

背景技术

基于图像的深度信息估计，指的是从单幅或多幅二维图像学习其场景的三维信息，旨在预测其图像的像素点深度，其估计的深度图可应用于智能化机器人、场景重建、语义分割、无人驾驶等领域，具有重要的研究意义及应用价值，是计算机视觉领域的重要研究问题。其中，从单幅图像估计其深度信息又称为单目深度估计，因其仅需单张图像即可实现深度估计，相比多视角方法所需的多张图像更具便携性，但又因该单幅图像可能有无数个不确定的物理场景拍摄所得，从而造成单目深度估计问题的模糊不确定性，这给如何通过单幅图像估计出高精度的深度图带来一定的挑战性，亦成为如今一大研究热点。

研究人员结合自身先验经验，从单一视角捕获场景的几何特征信息，但该方法对概率模型及先验规则具有较大的依赖性，人为主观性较大。传统单目深度估计方法主要分为两种，基于传感器方法及基于几何约束方法。此类方法在实现过程中易受外界环境的限制，这给获取高精度的深度图带来不确定的因素，难以应用于普通场景，缺乏一定的普适性。

机器学习的单目深度方法分为参数化及非参数化两种。参数化方法，指目标函数中含有未知参数，训练过程即对该参数进行求解；非参数学习方法，仅需对已有的数据集进行相似性检索，并不需要学习其中的参数，就能实现其深度估计效果。相比参数化机器学习，非参数学习方法虽不需人为先验模型的操作步骤，但此类方法依赖序列化图像检索，仍具有计算量大、耗时长、可应用范围小等弊端。对于上述两类机器学习的单目深度估计方法，两者共同存在人为假设过多、当数据量较大时处理过程较为繁琐的弊端。

深度学习广泛应用于模式识别、语义分割、场景理解等图像处理领域，并取得较为显著成果。因卷积神经网络(CNN)体现的强大拟合能力，其学习的特征信息相比人工提取的特征信息更具丰富的层次性，为此，研究人员亦将其应用于单目深度估计领域。但大多数基于深度学习的单目深度估计方法，为提高单目深度估计网络的感受野，所采用的CNN大多通过重复堆叠的长范围依赖捕获，并且是反向传播而得到，当在需要较远距离来回传递信息时，此类局部操作难以实现，且容易丢失中间层的特征信息，导致单目深度估计精度不高的后果，如通过文献[1]、文献[2]以及文献[3]中涉及的单目深度估计方法得到的深度图的精度较低。因此，需要设计一种能够解决上述问题的方法。

[1]H.Fu,M.Gong,C.Wang,K.Batmanghelich,and D.Tao,Deep ordinalregression network for monocular depth estimation,in Proceedings of the IEEEConference on Computer Vision and Pattern Recognition,2018,pp.2002-2011.

[2]J.Hu,M.Ozay,Y.Zhang,and T.Okatani,Revisiting single image depthestimation:Toward higher resolution maps with accurate object boundaries,in2019IEEE Winter Conference on Applications of ComputerVision(WACV),2019,pp.1043-1051:IEEE.