[发明专利]深度图像的超分辨率重建方法、装置、设备及存储介质

权利要求书

1.一种深度图像的超分辨率重建方法，其特征在于，所述方法包括下述步骤：

对输入的低分辨率深度图和对应的高分辨率彩色图进行预处理，以获取所述低分辨率深度图的高频信息图像和低频信息图像、以及所述高分辨率彩色图的高频信息图像；

对所述低分辨率深度图的高频信息图像和所述高分辨率彩色图的高频信息图像分别进行特征提取，对提取得到的特征图分别进行预设的全卷积操作，生成所述低分辨率深度图的高频全卷积特征图和所述高分辨率彩色图的高频全卷积特征图；

对所述低分辨率深度图的高频全卷积特征图进行放大，以得到所述低分辨率深度图的放大后高频全卷积特征图；

对所述低分辨率深度图的放大后高频全卷积特征图和所述高分辨率彩色图的高频全卷积特征图进行全卷积特征融合，对所述特征融合得到的融合图像进行重建，以得到重建后高频图像；

根据所述重建后高频图像的尺寸对所述低分辨率深度图的低频信息图像进行放大，将所述重建后高频图像与所述低分辨率深度图的放大后低频信息图像进行叠加，以得到所述低分辨率深度图对应的高分辨率深度图像，输出所述高分辨率深度图像。

2.如权利要求1所述的方法，其特征在于，对输入的低分辨率深度图和对应的高分辨率彩色图进行预处理的步骤，包括：

使用预设的滤波公式h(F)＝F-W_G*F对所述低分辨率深度图和所述高分辨率彩色图进行滤波预处理，分别得到所述低分辨率深度图和所述高分辨率彩色图的低频信息图像，其中，所述F表示所述低分辨率深度图或所述高分辨率彩色图，所述W_G为二维的高斯卷积核，所述*表示卷积操作；

去掉所述低分辨率深度图和所述高分辨率彩色图的低频信息图像，分别得到所述低分辨率深度图和所述高分辨率彩色图的高频信息图像。

3.如权利要求1所述的方法，其特征在于，对所述低分辨率深度图的高频信息图像和所述高分辨率彩色图的高频信息图像分别进行特征提取，并对提取得到的特征图分别进行预设的全卷积操作的步骤，包括：

使用公式对所述低分辨率深度图的高频信息图像进行卷积操作，以得到所述低分辨率深度图的高频信息图像的特征图，其中，所述表示上一卷积层输出的结果，所述W_i^D和分别表示卷积层的卷积核和偏置，所述σ_i()为激活函数；

使用公式对所述高分辨率彩色图的高频信息图像进行卷积操作，以得到所述高分辨率彩色图的高频信息图像的特征图，其中，所述i表示当前卷积层，所述表示上一卷积层输出的结果，所述W_i^Y和分别表示所述当前卷积层的卷积核和偏置；

使用公式F_i＝σ(W_i*F_i-1+B_i)分别对所述低分辨率深度图的高频信息图像的特征图和所述高分辨率彩色图的高频信息图像的特征图进行所述全卷积操作，生成所述低分辨率深度图的高频全卷积特征图和所述高分辨率彩色图的高频全卷积特征图，所述W_i和B_i分别表示所述当前卷积层i的卷积核和偏置，所述F_i-1为上一卷积层输出的结果。

4.如权利要求1所述的方法，其特征在于，对所述低分辨率深度图的放大后高频全卷积特征图和所述高分辨率彩色图的高频全卷积特征图进行全卷积特征融合，并对所述特征融合得到的融合图像进行重建，以得到重建后高频图像的步骤，包括：

使用公式F_k＝σ(W_k*(F^Y,F^D)+B_k)对所述低分辨率深度图的放大后高频全卷积特征图F^D和所述高分辨率彩色图的高频全卷积特征图F^Y进行全卷积特征融合，以得到所述融合图像，其中，所述W_k为卷积层k的卷积核，所述B_k为所述卷积层k的偏置；

对所述融合图像在融合过程中重叠部分的图像块进行平均处理，将得到的图像设置为所述重建后高频图像。