[发明专利]基于不确定性感知特征传输的深度图超分辨率方法及系统

权利要求书

1.一种基于不确定性感知特征传输的深度图超分辨率方法，其特征在于，包括以下步骤：

步骤1：针对输入图，通过基于不确定性感知特征传输网络的RGB分支和Depth分支提取低分辨率深度图像和高分辨率RGB引导图像的特征；

将低分辨率深度图像和高分辨率RGB引导图像的特征都输入到基于不确定性感知特征传输网络的SUFT模块中，所述SUFT模块首先复制并在空间维度中水平翻转输入的深度特征，然后再将这两个水平镜像的深度特征投影到高分辨率域：

其中是从低分辨率深度图中提取的特征，是通过上采样得到的高分辨率深度特征，是经过翻转的高分辨率深度特征，HFlip(·)和(·)↑_s分别代表水平翻转操作和缩放因子为s的上投影操作；

所述基于不确定性感知特征传输网络，整体由RGB分支，Depth分支和SUFT模块构成；

所述RGB分支由第一3×3卷积层、第一残差块、第二残差块、第三残差块顺序连接构成，输入高分辨率RGB图像，经过RGB分支，提取高分辨率RGB图像的特征以传入相应的SUFT模块；

所述Depth分支由第二3×3卷积层、第一残差组、第二残差组、第三残差组、第四残差组、上投影单元、第五残差组、第六残差组、第三3×3卷积层组成和双三次线性插值模块组成，输入低分辨率深度图，经过Depth分支，提取低分辨率深度图的特征以传入相应的SUFT模块，最终将网络提取的高分辨率深度图高频成分和经过双三次线性插值模块得到的高分辨率深度图的低频成分逐元素相加，输出重建的高分辨率深度图；

所述第一残差块、第二残差块、第三残差块由两个3×3卷积层和一个修正线性单元层构成；所述第一残差组、第二残差组、第三残差组、第四残差组由八个卷积层、四个修正线性单元层和四个通道注意力模块构成；所述第五残差组、第六残差组由十六个卷积层、八个修正线性单元层和八个通道注意力模块构成；所述上投影单元由两个核大小自适应的卷积层、两个核大小自适应的反卷积层和四个修正线性单元层构成；所述双三次线性插值模块将输入低分辨率深度图上采样得到一个模糊的高分辨率深度图；

步骤2：利用步骤1中获得的两个水平镜像的高分辨率深度特征计算对称不确定性的空间分布，获得不确定性图

步骤3：将步骤2中获得的不确定性图与步骤1中提取的高分辨率RGB引导图像特征相乘，再与上采样的高分辨率深度特征沿通道轴拼接：

其中是从高分辨率RGB引导图像中提取的特征，是融合后的特征，[·；·]表示沿通道轴拼接操作；

步骤4：将融合后的特征通过下投影单元映射回低分辨率空间域：

其中(·)↓_s表示比例因子为s的下投影操作。

2.根据权利要求1所述的基于不确定性感知特征传输的深度图超分辨率方法，其特征在于：步骤1中，所述SUFT模块，由第一上投影单元，第二上投影单元，一个不确定性模块，一个下投影单元构成，输入从高分辨率RGB图像和低分辨率深度图中提取的特征，去除RGB图像特征中的纹理不匹配信息，输出高分辨率RGB图像和低分辨率深度图的融合特征进入Depth分支；

所述不确定性模块由一个卷积层和一个归一化层构成，输入镜像的深度图特征，经过逐元素相减和绝对值操作，得到的差异图沿通道轴分别执行最大值和均值操作后沿通道轴拼接，然后经过卷积层和归一化层，输出对称不确定性图；

所述第一上投影单元，第二上投影单元和下投影单元由两个核大小自适应的卷积层、两个核大小自适应的反卷积层和四个修正线性单元层构成。