[发明专利]一种双特征融合引导的深度图像超分辨率重建方法

权利要求书

1.一种基于双特征融合引导的深度图像超分辨率重建网络，其特征在于，整个网络的训练过程如下：

(1)数据集准备：从不同公开的深度图像数据集中分别选取一定量的深度图像和同场景彩色图像，首先对得到的图像做90°、180°、270°的旋转以及翻转，然后对获取到的深度图像和彩色图像作步长为48的重叠采样，裁剪得到96×96大小的图像块，以此作为网络的训练集和验证集；然后对深度图像逐一做4倍下采样得到低分辨率深度图；

(2)图像预处理：对步骤(1)得到的低分辨率深度图做双三次插值操作，使得处理后深度图的尺寸与同场景彩色图一致，得到网络的深度输入图像；然后将同场景彩色图采用YCrCb格式，提取其Y通道图像作为网络的强度输入图像；

(3)网络结构设计：网络结构包括两部分；

一部分为特征提取部分，采用两个结构一致的输入金字塔结构分别提取输入的深度图像和强度图像的特征；以深度特征提取为例，对输入深度图逐级下采样，每次下采样得到的深度图先经过以此不同通道数的卷积操作得到特征图，与上一级池化后的特征拼接后，经过一次残差注意力操作得到该层的特征；该层的特征用于后续引导重建，也用于与下一级特征融合形成多尺度特征，此过程的数学模型为：

其中，i∈{1，2，3，4}，是经过i次下采样后的深度图像；是从中提取的特征；和是卷积操作中的权重和偏置；σ(·)代表ReLU激活函数；maxpool(·)代表下采样操作；f_RAM(·)代表残差注意力操作；代表经残差注意力操作的得到的特征；cat(·)代表拼接操作；

第二部分为深度恢复重建部分，这部分主要采用双通道融合模块和双特征引导重建模块对提取到的特征做恢复重建；

对特征提取部分最后一级得到的多层次强度特征和深度特征先经过双通道融合模块得到融合后的特征融合后的特征先经反卷积放大特征尺寸后，与同一级深度特征和强度特征共同进入双特征引导重建模块进行引导恢复重建，输出特征在经过残差注意力强化特征后得到该级的输出特征；在经过3次上述循环操作得到重建特征再将重建特征做1×1，通道数为1的卷积操作，并与输入深度图做像素相加，得到最后重建后的深度图D_sr；此过程的数学模型为：

其中，j∈{0，1，2，3}，f_DCM(·)代表双通道融合模块；f_DGM(·)代表双特征引导重建模块；deconv(·)代表反卷积；σ代表ReLU激活函数；W_sr和b_sr分别代表1×1卷积操作的权重和偏置；代表像素相加；

其中，在第二部分的双通道融合模块中，将输入的深度特征和强度特征分别经通道注意力强化后，再顺次进行特征拼接和卷积操作完成特征初步融合，再经过一次通道注意力强化明显特征后得到得到完全融合后的特征；此模块的数学模型为：

其中，F_d和F_g分别代表特征提取部分得到的深度特征和强度特征；和分别代表经通道注意力强化后的深度和强度特征；f_C(·)代表通道注意力操作；W_DCM和b_DCM是卷积操作中的权重和偏置；

同样，第二部分的双特征引导重建模块是将同级的来自特征提取部分的深度特征和强度特征以及上一级重建特征共同作为输入，先将深度特征和强度特征做自选择连接得到融合引导特征，再以此引导上一级重建特征做恢复重建操作，此模块的数学模型为：

F_SSC＝f_SSC(F_d，F_g)        (11)

F_mix＝σ(W_DGM·cat(F_SSC，F_s)+b_DGM)     (12)

F_out＝f_C(F_mix)                    (13)

其中，f_SSC(·)代表自选择连接操作；F_SSC代表经自选择连接得到双特征融合后的特征；F_s代表上一级重建特征；F_mix代表将F_SSC特征与F_s特征做拼接和卷积的操作得到初始融合特征；W_DGM和b_DGM是卷积操作中的权重和偏置；

整个网络采用采用最小均值误差(MSE)作为损失函数，来缩短网络重建得到的深度图和真实深度图之间的差距：

其中，k代表第k幅图像；N代表每次训练样本的个数；θ代表要学习的参数；代表输入深度图，代表对应彩色图的Y通道图像；代表重建得到的深度图；代表对应的真实深度图；

(4)网络训练：此网络通过基于反向传播的梯度下降法来更新网络参数；

(5)深度图超分辨率重建：将测试低分辨率深度图像和同场景彩色图经预处理后输入到训练好的网络模型中，在输出层得到超分辨率的深度图。