[发明专利]深度估计方法、装置、电子设备及计算机可读存储介质

权利要求书

1.一种深度估计方法，其特征在于，包括：

获取激光雷达采集的原始点云，以及获取摄像头采集的原始图像；

确定所述原始点云对应的第一质量评估指标，以及确定所述原始图像对应的第二质量评估指标，其中，所述第二质量评估指标用于评估原始图像的质量优劣，所述第二质量评估指标为传统图像处理和视频帧采集的测度；

根据所述第一质量评估指标和所述第二质量评估指标，确定所述原始点云和所述原始图像中，质量评估通过的第一目标数据，其中，所述第一目标数据包括通过所述第一质量评估指标和所述第二质量评估的原始点云和/或原始图像；

在所述第一目标数据中包括所述原始图像的情况下，根据所述原始图像，进行特征提取，以得到第一图像特征；根据所述第一图像特征，生成第一目标特征图；其中，所述第一目标特征图包括第一注意图、第一法线图和第一边缘图；根据所述原始图像、所述第一目标特征图和深度网络，获得所述深度网络输出的第一致密深度图，并将所述第一致密深度图作为深度估计结果；

所述确定所述原始点云对应的第一质量评估指标，包括：将所述原始点云投影至所述摄像头的图像平面，以得到投影图像；计算所述投影图像的梯度信息，以及所述原始图像的图像边缘信息的相关度，并将所述相关度作为所述原始点云对应的第一质量评估指标；或者，确定所述投影图像的雷尼二次熵，并将所述雷尼二次熵作为所述原始点云对应的第一质量评估指标。

2.根据权利要求1所述的方法，其特征在于，所述根据所述原始图像、所述第一目标特征图和深度网络，获得所述深度网络输出的第一致密深度图，包括：

根据所述原始图像，确定第二目标数据；

根据所述第二目标数据、所述第一目标特征图和深度网络，获得所述深度网络输出的第一致密深度图。

3.根据权利要求2所述的方法，其特征在于，

所述根据所述第二目标数据、所述第一目标特征图和深度网络，获得所述深度网络输出的第一致密深度图，包括：

在所述第一目标数据中不包括所述原始点云的情况下，将所述第二目标数据和所述第一目标特征图输入深度网络，以获得所述深度网络输出的第一致密深度图；

或者，

所述根据所述第二目标数据、所述第一目标特征图和深度网络，获得所述深度网络输出的第一致密深度图，包括：

在所述第一目标数据中包括所述原始点云的情况下，根据所述原始点云，获得稀疏深度图和稀疏掩码；

将所述第二目标数据、所述第一目标特征图，以及所得到的稀疏深度图和稀疏掩码输入深度网络，以获得所述深度网络输出的第一致密深度图。

4.根据权利要求2所述的方法，其特征在于，

所述摄像头的数量为一个，所述根据所述原始图像，确定第二目标数据，包括：

将所述第一目标数据中的所述原始图像作为第二目标数据；

或者，

所述摄像头的数量为两个，所述根据所述原始图像，确定第二目标数据，包括：

在所述第一目标数据中包括两个所述摄像头分别采集的所述原始图像的情况下，将所述第一目标数据中，两个所述摄像头分别采集的所述原始图像进行图像融合，得到融合结果，并确定包括所述融合结果的第二目标数据。

5.根据权利要求1所述的方法，其特征在于，所述根据所述原始图像、所述第一目标特征图和深度网络，获得所述深度网络输出的第一致密深度图之前，所述方法还包括：

生成深度网络；

根据所述摄像头采集的训练图像，进行特征提取，以得到第二图像特征；

根据所述第二图像特征，获得所述摄像头的自运动参数以及获得第二目标特征图，将所述自运动参数进行扭曲，得到扭曲结果；其中，所述第二目标特征图包括第二注意图、第二法线图和第二边缘图；

将所述第二目标特征图和所述训练图像输入所述深度网络，以获得所述深度网络输出的第二致密深度图和置信度图；

将所述第二致密深度图和所述置信度图输入残差光流网络，以获得所述残差光流网络输出的残差光流；

将所述残差光流与所述扭曲结果相加，以得到光流域，并根据所述光流域，修正所述深度网络。