[发明专利]一种深度估计方法、装置、车辆及计算机程序产品

权利要求书

1.一种深度估计方法，其特征在于，所述方法包括：

对待估计图像进行外观特征提取，得到多个尺度的第一特征图；

结合图像采集设备的设备参数，分别对所述多个尺度的第一特征图进行语义特征提取，获得各尺度的第一特征图各自对应的第二特征图；所述图像采集设备为用于拍摄所述待估计图像的设备；

分别将相同尺度的第一特征图和第二特征图进行特征融合，获得各尺度各自对应的融合特征图；

基于所述各尺度各自对应的融合特征图进行深度估计，获得用于表示所述待估计图像中各像素深度值的深度图。

2.根据权利要求1所述的方法，其特征在于，所述对待估计图像进行外观特征提取，得到多个尺度的第一特征图，包括：

利用深度估计网络的第一特征提取层对所述待估计图像进行外观特征提取，获得多个尺度的第一特征图；

所述结合图像采集设备的设备参数，分别对所述多个尺度的第一特征图进行语义特征提取，获得各尺度的第一特征图各自对应的第二特征图，包括：

结合所述设备参数，利用所述深度估计网络的第二特征提取层分别对所述多个尺度的第一特征图进行语义特征提取，获得多个尺度的第二特征图；

所述基于所述各尺度各自对应的融合特征图进行深度估计，获得用于表示所述待估计图像中各像素深度值的深度图，包括：

利用所述深度估计网络的分类层对各尺度分别对应的融合特征图进行深度估计，获得所述深度图；

其中，所述深度估计网络是基于多个样本图像，以及每个样本图像对应的样本深度图训练得到的，所述样本图像是基于所述图像采集设备得到的，所述样本深度图是基于通过雷达设备测量的深度真值确定的。

3.根据权利要求2所述的方法，其特征在于，所述设备参数包括所述图像采集设备的内参数据和外参数据；所述结合所述设备参数，利用所述深度估计网络的第二特征提取层分别对所述多个尺度的第一特征图进行语义特征提取，获得多个尺度的第二特征图，包括：

利用所述第二特征提取层分别对所述多个尺度的第一特征图、所述图像采集设备的内参数据和外参数据进行特征提取，得到多个尺度的中间特征图、所述内参数据对应的内参特征向量以及所述外参数据对应的外参特征向量；

将所述内参特征向量和所述外参特征向量拼接到一起，得到所述图像采集设备的内外参特征向量；

利用所述内外参特征向量分别对所述多个尺度的中间特征图进行矫正，得到多个尺度的第二特征图。

4.根据权利要求2所述的方法，其特征在于，采取如下方式对所述深度估计网络进行训练：

将每个样本图像分别输入所述深度估计网络进行深度估计，获得输出的预测深度图；

基于所述每个样本图像对应的样本深度图以及预测深度图，构建目标损失函数，并基于所述目标损失函数对所述深度估计网络的参数进行调整。

5.根据权利要求4所述的方法，其特征在于，所述基于所述每个样本图像对应的样本深度图以及预测深度图，构建目标损失函数，包括：

针对每个样本图像，将所述样本图像进行外观特征提取及语义特征提取，得到所述样本图像对应的多个尺度的样本第一特征图，以及与所述多个尺度的样本第一特征图一一对应的样本第二特征图；

分别将所述样本图像对应的样本深度图和预测深度图，按照每个尺度进行尺度变换，得到所述样本图像对应的多个尺度的样本深度图，及多个尺度的预测深度图；

针对每个尺度，基于所述尺度的样本深度图中像素的数量、所述尺度的样本深度图中第i个深度真值、所述尺度的预测深度图中的第i个预测深度值与所述第i个深度真值相匹配的概率，构建所述尺度对应的损失函数；

将各尺度分别对应的损失函数相加得到所述目标损失函数。

6.根据权利要求2所述的方法，其特征在于，采取如下方式获取样本深度图：

将所述雷达设备和所述图像采集设备的时钟进行同步，以及将所述雷达设备和所述图像采集设备的坐标系进行配准；

若通过所述雷达设备采集样本雷达数据的采集时间与所述图像采集设备采集样本图像的采集时间相匹配，则利用所述样本雷达数据中包含的深度真值构建所述样本图像对应的样本深度图。