[发明专利]一种单目深度估计方法、装置、电子设备及存储介质

说明书

本公开关于一种单目深度估计方法、装置、电子设备及存储介质。该方法中，利用深度估计模型对单目视频的视频帧进行深度估计；该深度估计模型，基于预设样本帧、预设样本帧对应的对抗样本帧以及预设样本帧的标注深度数据训练获得；在训练时，基于预设样本帧的估计深度数据和所对应对抗样本帧的估计深度数据之间的差异，预设样本帧的标注深度数据和估计深度数据之间的差异，判断训练中的深度估计模型是否收敛；如果收敛，完成训练；其中，对抗样本帧为：对预设样本帧进行数据增广处理得到的样本帧。本公开可以在保证准确性的前提下，有效抑制单目深度估计结果中的抖动，且省去了对视频帧进行滤波平滑处理所引入的计算量。

技术领域

本公开涉及深度估计领域，尤其涉及一种单目深度估计方法、装置、电子设备及存储介质。

背景技术

单目深度估计是指通过对单目摄像头拍摄的图片或视频进行处理，得到图片或视频所对应深度数据的过程。其中，利用单目摄像头所拍摄到的视频可以称为单目视频。在拍摄单目视频时，受镜头的晃动、拍摄场景中的物体移动以及噪声等不稳定因素的影响，拍摄得到的单目视频中，相邻的帧之间可能会存在差异。这种差异会导致对单目视频进行单目深度估计时会存在较大的抖动，即相邻两个视频帧的深度数据存在较大差异。

为了抑制这种抖动，相关技术中，对单目视频的视频帧进行滤波平滑处理，以求减弱或消除由上述不稳定因素所带来的相邻的视频帧之间的差异，进而抑制该差异所导致的抖动。

然而，滤波平滑处理会使单目视频的视频帧丢失画面细节，造成图像信息的损失，进而会降低对单目视频的单目深度估计结果的准确性。因此，如何在保证准确性的前提下，有效抑制抖动，是一个亟待解决的问题。

发明内容

本公开提供一种单目深度估计方法、装置、电子设备及存储介质，以提升对深度估计结果中的抖动的抑制效果。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种单目深度估计方法，包括：

获取待估计深度的单目视频；

利用预先训练完成的深度估计模型，分别对所述单目视频中各个视频帧进行深度估计，得到各个所述视频帧的估计深度数据；

将各个所述视频帧的估计深度数据，确定为所述单目视频的单目深度估计结果；

其中，所述训练完成的深度估计模型，基于预设样本帧、所述预设样本帧对应的对抗样本帧以及所述预设样本帧的标注深度数据训练获得；在训练时，基于所述预设样本帧的估计深度数据和所对应对抗样本帧的估计深度数据之间的差异，以及所述预设样本帧的标注深度数据和估计深度数据之间的差异，判断训练中的所述深度估计模型是否收敛；如果收敛，完成训练；

所述对抗样本帧为：对所述预设样本帧进行数据增广处理得到的样本帧。

可选地，对训练中的所述深度估计模型的每一次训练过程包括：

获得多个所述预设样本帧、每个所述预设样本帧对应的对抗样本帧，以及多个标注深度数据，所述多个标注深度数据至少包括多个所述预设样本帧的标注深度数据；

分别将每个所述预设样本帧，以及每个所述对抗样本帧输入至训练中的所述深度估计模型，得到每个所述预设样本帧的估计深度数据和每个所述对抗样本帧的估计深度数据；

基于每个所述对抗样本帧的估计深度数据和所对应预设样本帧的估计深度数据之间的差异，计算第一类损失值；

基于每个所述标注深度数据和所对应预设样本帧的估计深度数据之间的差异，计算第二类损失值；

基于所述第一类损失值和所述第二类损失值，判断训练中的所述深度估计模型是否收敛，如果收敛，结束训练，得到训练完成的所述深度估计模型。

可选地，对训练中的所述深度估计模型的每一次训练过程还包括：