[发明专利]基于置信度分级及级间融合增强的深度估计方法及系统

权利要求书

1.基于置信度分级及级间融合增强的深度估计方法，其特征在于，包括如下步骤：

根据待检测目标帧场景中区域的深度估计难度从易到难，进行像素分级；

按照像素分级，针对每一分级对应的区域分别进行深度估计，提取每一级像素区域的深度图以及对应每一级像素区域的置信度图；

将各个级的深度图与置信度图拼接并逐级叠加后得到级间融合置信度图，将最后一级的像素区域的深度图与级间融合置信度图进行特征提取，作为级间特征增强信息；

将级间特征增强信息及待检测的目标帧图像作为训练后的深度估计网络的输入进行编码，然后解码后得到目标帧对应的深度图。

2.如权利要求1所述的基于置信度分级及级间融合增强的深度估计方法，其特征在于：针对不同分级像素区域，分别设置对应每一级的深度图提取网络，并分别分级进行训练得到针对该区域特征的深度图提取网络，每一级的深度图提取网络采用相同的自监督深度估计网络。

3.如权利要求2所述的基于置信度分级及级间融合增强的深度估计方法，其特征在于：自监督深度估计网络包括深度估计网络和姿态变换网络：

深度估计网络：用于估计目标帧的深度图；

姿态变换网络：用于预测相机姿态，用于提供自监督信号；

或者，姿态变换网络包括以残差网络为核心的特征提取网络，以及多个级联的卷积层；

或者，深度估计网络具体为基于编码器-解码器结构，包括深度编码器和深度解码器，以及上采样模块，上采样模块连接深度编码器每一级以及深度解码器的每一级。

4.如权利要求1所述的基于置信度分级及级间融合增强的深度估计方法，其特征在于，解码的方法，包括如下过程：

将编码后得到的深度特征，按照特征通道数将浅层特征逐级拼接到上采样之后的深层特征上；

通过卷积块完成空域深度信息的多尺度特征融合：通过卷积层和Sigmoid激活函数逐级解码拼接的深度特征获得多尺度的深度图；

将多尺度的深度图，通过双边线性插值到与输入图像相同尺寸的深度图，在输入目标帧图像尺寸上完成目标帧的重建，得到输入目标帧图像对应的深度图；

或者，将各个级的深度图与置信度图拼接并逐级叠加后得到级间融合置信度图，包括如下步骤：

步骤31、将第一像素级深度图以及置信度图拼接得到第一中间置信度图；

步骤32、第一中间置信度图与第二像素级像素区域的置信度图拼接融合，得到级间融合置信度图；

步骤33、将第二像素级深度图与级间融合置信度图拼接得到第二中间置信度图；

步骤34、第二中间置信度图与第三像素级像素区域的置信度图拼接融合，根据融合结果更新级间融合置信度图；

按照步骤33-34依次累加下一像素级的深度图和置信度图，直到将最后一级的像素区域的深度图与级间融合置信度图进行特征提取，作为级间特征增强信息。

5.如权利要求1所述的基于置信度分级及级间融合增强的深度估计方法，其特征在于：按照深度估计从易到难进行像素分级，具体分为角点、边缘以及其他区域，针对角点区域设置第一级角点区域深度估计网络，用于提取目标帧图像中的角点区域的深度值；针对边缘区域设置第二级边缘区域深度估计网络，用于提取目标帧图像中的边缘区域的深度值；设置第三级帧图像整体识别深度估计网络，用于对帧图像所有区域进行深度估计。

6.如权利要求5所述的基于置信度分级及级间融合增强的深度估计方法，其特征在于：对第一级角点区域深度估计网络训练的损失函数为光学重建误差L_p、边缘光滑损失函数L_s以及针对角点区域深度估计的加权损失函数L_C的加权和；

或者，对第二级边缘区域深度估计网络进行训练的损失函数为：光学重建误差L_p、边缘光滑损失函数L_s以及针对边缘深度进行监督的损失函数L_E的加权和。