[发明专利]图像的深度估计方法、装置、电子设备及存储介质

说明书

本申请适用于图像处理领域，提供了图像的深度估计方法、装置、电子设备及存储介质。图像的深度估计方法包括获取待处理图像，将待处理图像输入深度估计网络，得到深度估计网络输出的深度信息。深度估计网络包括编码器和解码器，编码器包括N层编码层，解码器包括N‑1层解码层；每层编码层的输入图像是对待处理图像进行预设倍数的下采样得到的，每层解码层的输入图像是根据N层编码层的输出图像进行拼接得到的，深度信息根据N‑1层解码层的输出图像确定，N表示大于0的整数。因此，每层解码层的输入信息融合了编码层的多级语义信息，降低了编码器和解码器的特征图之间的语义代沟，提高了恢复出的场景深度信息的精度。

技术领域

本申请属于图像处理领域，尤其涉及图像的深度估计方法、装置、电子设备及存储介质。

背景技术

相机拍摄的图像一般都是二维图像，丢失了图像所在场景的深度信息。从二维图像中恢复出图像的场景深度信息，有助于更好的理解场景的三维结构以及图像中物体之间的三维关系，从而更好地完成视觉任务。现有的恢复图像的场景深度信息的方法一般是通过神经网络模型进行恢复。神经网络模型包括编码器和解码器，编码器通过对图像逐级下采样的方式来增大特征图的感受野以及降低计算的开销，解码器用于从下采样的图像中恢复出具有原始图像分辨率的场景深度信息。但是目前用于深度估计的神经网络模型中，只是简单的将编码器特征与解码器特征进行混合，忽略了编码器与解码器特征图之间的语义代沟，从而降低了恢复出的场景深度信息的精度。

发明内容

有鉴于此，本申请实施例提供了图像的深度估计方法、装置、电子设备及存储介质，解决了恢复出的场景深度信息的精度不高的问题。

本申请实施例的第一方面提供了一种图像的深度估计方法，包括：

获取待处理图像；

将所述待处理图像输入深度估计网络，得到所述深度估计网络输出的深度信息；所述深度估计网络包括编码器和解码器，所述编码器包括N层编码层，所述解码器包括N-1层解码层；每层编码层的输入图像是对所述待处理图像进行预设倍数的下采样得到的，每层解码层的输入图像是根据N层编码层的输出图像进行拼接得到的，所述深度信息根据N-1层解码层的输出图像确定，N表示大于0的整数。

在一种可能的实现方式中，第N-1层解码层的输入图像由第一输入图像和第二输入图像进行拼接得到，所述第一输入图像由第N层编码层的输出图像依次经过精调处理、上采样得到，所述第二输入图像由第i层编码层的输出图像依次进行2^N-1-i倍下采样、精调处理得到，i＝0,1,2,…,N-1，所述精调处理用于对图像的局部特征信息和全局特征信息进行拼接。

在一种可能的实现方式中，第k层解码层的输入图像由第三输入图像和第四输入图像进行拼接得到，所述第三输入图像由第k+1层解码层的输出图像依次经过精调处理、上采样得到，所述第四输入图像由第i层编码层的输出图像依次经过2^k-i倍下采样、精调处理得到，所述精调处理用于对图像的局部特征信息和全局特征信息进行拼接，k＝0,1,2,…,N-2，k-i≥0。

在一种可能的实现方式中，图像的精调处理过程包括：

提取待精调处理的图像的局部特征图，所述局部特征图包括局部特征信息；

对所述待精调处理的图像进行不重叠采样，得到互不重叠的子特征图；

根据所述子特征图确定全局特征图，所述全局特征图包括全局特征信息；

对所述待精调处理的图像、所述局部特征图、所述全局特征图进行拼接，得到精调处理后的图像。

在一种可能的实现方式中，根据所述子特征图确定全局特征图，包括：

确定与子特征图对应的特征向量；

对所述特征向量依次进行特征向量变换、线性变换、分辨率恢复、膨胀处理，得到所述全局特征图。