[发明专利]一种深度估计方法、装置、车辆及计算机程序产品

说明书

本申请涉及图像处理技术领域，尤其涉及一种深度估计方法、装置、车辆及计算机程序产品，该方法包括：对待估计图像进行外观特征提取，得到多个尺度的第一特征图；结合图像采集设备的设备参数，分别对所述多个尺度的第一特征图进行语义特征提取，获得各尺度的第一特征图各自对应的第二特征图；分别将相同尺度的第一特征图和第二特征图进行特征融合，获得各尺度各自对应的融合特征图；基于各尺度各自对应的融合特征图进行深度估计，获得用于表示所述待估计图像中各像素深度值的深度图。通过上述方法，可提高基于图像的深度估计的准确性。

背景技术

深度估计是场景重建的关键步骤，是对一张或唯一/多个视角下的三原色图像进行深度估计，进而确定图像中每个像素相对于拍摄源的距离。利用深度学习的方法进行深度估计在不同的场景和不同的光照条件下都有很高的鲁棒性。

然而，目前基于深度学习的三原色(Red-Green-Blue，RGB)图像的深度估计方法，利用合成的深度图进行网络的监督训练，如果车辆在行驶过程中剧烈运动，则会导致将利用摄像头采集的图像输入深度学习网络后，输出的深度值不准确。

综上，如何提高基于RGB图像的深度估计的准确性是亟待解决的。

发明内容

本申请实施例提供了一种深度估计方法、装置、车辆及计算机程序产品，能够有效提高基于RGB图像的深度估计的准确性。

第一方面，本申请实施例提供了一种深度估计方法，所述方法包括：

对待估计图像进行外观特征提取，得到多个尺度的第一特征图；

结合图像采集设备的设备参数，分别对所述多个尺度的第一特征图进行语义特征提取，获得各尺度的第一特征图各自对应的第二特征图；所述图像采集设备为用于拍摄所述待估计图像的设备；

分别将相同尺度的第一特征图和第二特征图进行特征融合，获得各尺度各自对应的融合特征图；

基于所述各尺度各自对应的融合特征图进行深度估计，获得用于表示所述待估计图像中各像素深度值的深度图。

由于车辆在行驶过程中剧烈的运动可能会导致提取的图像特征和深度值在世界坐标系下不匹配，而且，图像采集设备的内参与图像每个像素对应的深度值息息相关，因此，上述实施例将图像采集设备的设备参数(内参和外参)编码进网络，以避免上述问题，进而提高基于RGB图像的深度估计的准确性；另外分别提取了待估计图像的外观特征和语义特征，然后进行特征融合，使得提取的特征包含待估计图像多方面的特征，进一步提高利用融合特征图进行深度估计的准确性。

可选的，所述对待估计图像进行外观特征提取，获得多个尺度的第一特征图，包括：

利用深度估计网络的第一特征提取层对所述待估计图像进行外观特征提取，获得多个尺度的第一特征图；

所述结合图像采集设备的设备参数，分别对所述多个尺度的第一特征图进行语义特征提取，获得各尺度的第一特征图各自对应的第二特征图，包括：

结合所述设备参数，利用所述深度估计网络的第二特征提取层分别对所述多个尺度的第一特征图进行语义特征提取，获得多个尺度的第二特征图；

所述基于所述各尺度各自对应的融合特征图进行深度估计，获得用于表示所述待估计图像中各像素深度值的深度图，包括：

利用所述深度估计网络的分类层对各尺度分别对应的融合特征图进行深度估计，获得所述深度图；

其中，所述深度估计网络是基于多个样本图像，以及每个样本图像对应的样本深度图训练得到的，所述样本图像是基于所述图像采集设备得到的，所述样本深度图是基于通过雷达设备测量的深度真值确定的。