[发明专利]一种多尺度增强式的单目深度估计方法

权利要求书

1.一种多尺度增强式的单目深度估计方法，其特征在于，包括如下步骤：

步骤1，输入单幅RGB图像，而后采用上下文及感受野增强型高分辨率网络CRE-HRNet对所述RGB图像进行多尺度特征提取，得到高分辨率的第一深度图像；

步骤2，采用感受野增强模块的残差膨胀卷积单元对所述第一深度图像进行扩张卷积，得到第二深度图像；

步骤3，采用加权非局部邻域模块捕捉所述第二深度图像的远距离像素点，得到深度图像；

其中，所述步骤1中所述上下文及感受野增强型高分辨率网络包括两个子模块，分别为特征金字塔模块和多尺度高分辨率模块，并采用高分辨率网络HRNET-W48作为骨干，

所述上下文及感受野增强型高分辨率网络的工作过程如下：

所述特征金字塔模块采用横向连接的方式将H×W/4×4C、H×W/8×8C、H×W/16×16C及H×W/32×32C的4个尺度的特征图连接起来，

而后将四个不同尺度的所述特征图作为所述多尺度高分辨率模块的输入，并采用元素级加法的初步融合方法，将多级特征融合为如下公式：

F_k＝P_k+S_k (1)

式(1)中，P_k表示所述特征金字塔模块第k级的特征映射，S_k表示多尺度高分辨率模块的第k个分支，其中，k≥1，k＝2，3，4，F_k表示两者之间的特征图经过元素级加法融合之后的输出第一深度图像；

所述步骤2中所述感受野增强模块采用具有小扩张率的扩张卷积之后加以使用具有大扩张率的扩张卷积的堆叠方式进行扩张卷积，即采用元素级的相加方法将4个平行分支的多尺度上下文特征信息进行融合后输出第二深度图像。

2.根据权利要求1所述的多尺度增强式的单目深度估计方法，其特征在于：

其中，所述特征金字塔模块由自上而下分辨率依次下降的4层特征金字塔组成，

所述多尺度高分辨率模块由自上而下维度依次上升的4个分支多尺度高分辨率网络组成。

3.根据权利要求1所述的多尺度增强式的单目深度估计方法，其特征在于：

其中，所述高分辨率网络HRNET-W48中的W48代表所述特征金字塔模块的第一层维度数量，即4C＝48，该所述特征金字塔模块的每层所述特征图经过下采样Downsampling，所述特征图的宽度将缩小至一半，维度将增加一倍，其所述特征图的尺寸分别为H×W/4×4C、H×W/8×8C、H×W/16×16C及H×W/32×32C。

4.根据权利要求2所述的多尺度增强式的单目深度估计方法，其特征在于：

其中，4个所述分支多尺度高分辨率网络依次为Stage1、Stage2、Stage3及Stage4，且Stage1为位于高分辨的主分支，其将不断接受低分辨率分支Stage2、Stage3及Stage4的特征信息，最后将多尺度的上下文信息及多层次的深度信息进行融合。

5.根据权利要求1所述的多尺度增强式的单目深度估计方法，其特征在于：

其中，4个所述平行分支分别为由扩张率依次为3、6、12的扩张残差单元l₁、l₂、l₃组成的第一分支y₁、由扩张率依次为3、6的扩张残差单元l₁、l₂组成的第二分支y₂、扩张率为3的扩张残差单元l₁组成的第三分支y₃以及连接主干F_k，

所述第二深度图像定义为：

y＝y₁+y₂+y₃+F_k (2)

式(2)中，均为扩张率。