[发明专利]基于置信度分级及级间融合增强的深度估计方法及系统

说明书

本公开涉及场景深度估计技术领域，提出了基于置信度分级及级间融合增强的深度估计方法及系统，包括：根据深度估计难度进行像素分级；按照像素分级，针对每一分级提取每一级像素区域的深度图以及对应每一级像素区域的置信度图；将各个级的深度图与置信度图拼接并逐级叠加后得到级间融合置信度图，将最后一级的像素区域的深度图与级间融合置信度图进行特征提取，作为级间特征增强信息；将级间特征增强信息及待检测的目标帧图像作为训练后的深度估计网络的输入进行编码，解码后得到目标帧对应的深度图。本公开通过分级利用上一阶段容易且准确的区域像素深度值对下一阶段困难且易错的区域像素深度估计进行辅助，从而提高了深度估计的准确度和质量。

技术领域

本公开涉及场景深度估计相关技术领域，具体的说，是涉及基于置信度分级及级间融合增强的深度估计方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。

相对于二维视觉，三维视觉感知可以提供场景的深度信息，在众多视觉任务中具有广泛的应用前景，如自动驾驶、三维重建和增强现实等，因此基于单目视频的深度估计方法受到广泛关注。随着深度学习的发展，目前存在较多的基于单目视频的深度估计方法，包括以真值深度图为目标的有监督学习方法和以视频运动生成结构为目标的自监督学习方法，本公开主要针对以视频运动生成结构为目标的自监督学习方法。

发明人发现，目前已有的单目深度估计网络均无差异的看待视频场景中的不同物体像素点，不能充分发挥不同像素间的辅助作用，影响深度估计的质量，而事实上，单目视频目标帧中的场景内容不同，网络对不同物体的深度估计难易度也不同。比如，对于物体边界处，利用源帧重建目标帧产生监督信号时，因为特征明显，两者之间匹配较为容易，进而深度估计容易且准确，而对于平滑表面，比如马路，因其为弱纹理区域，特征较少，两帧之间匹配较为困难，其深度估计相对困难且容易错。因此现有的深度估计方法犹豫采用无差异的深度估计，使得场景中深度估计困难的区域估计相对困难且容易出错，降低了场景估计的质量。

发明内容

本公开为了解决上述问题，提出了基于置信度分级及级间融合增强的深度估计方法及系统，按照物体深度估计的难易度实现像素分级，并且利用上一阶段容易且准确的区域像素深度值对下一阶段困难且易错的区域像素深度估计进行辅助，从而提高了深度估计的准确度和质量。

为了实现上述目的，本公开采用如下技术方案：

一个或多个实施例提供了基于置信度分级及级间融合增强的深度估计方法，包括如下步骤：

根据待检测目标帧场景中区域的深度估计难度从易到难，进行像素分级；

按照像素分级，针对每一分级对应的区域分别进行深度估计，提取每一级像素区域的深度图以及对应每一级像素区域的置信度图；

将各个级的深度图与置信度图拼接并逐级叠加后得到级间融合置信度图，将最后一级的像素区域的深度图与级间融合置信度图进行特征提取，作为级间特征增强信息；

将级间特征增强信息及待检测的目标帧图像作为训练后的深度估计网络的输入进行编码，然后解码后得到目标帧对应的深度图。

一个或多个实施例提供了基于置信度分级及级间融合增强的深度估计系统，包括：

分级模块：被配置为用于根据待检测目标帧场景中区域的深度估计难度从易到难，进行像素分级；

分级提取模块：被配置为用于按照像素分级，针对每一分级对应的区域分别进行深度估计，提取每一级像素区域的深度图以及对应每一级像素区域的置信度图；

增强信息叠加模块：被配置为用于将各个级的深度图与置信度图拼接并逐级叠加后得到级间融合置信度图，将最后一级的像素区域的深度图与级间融合置信度图进行特征提取，作为级间特征增强信息；