[发明专利]一种基于非局部感知的深度图超分辨率重建网络构建方法

说明书

本发明公开一种基于非局部感知的深度图超分辨率重建网络构建方法，目前越来越多的场景应用需要高质量高分辨率的深度图片，传统的深度图像超分辨方法在效果和速度都不如基于卷积神经网络的方法。但由于卷积的特性，大部分的超分辨卷积神经网络框架都只能利用深度图像的局部信息，然而图像的非局部信息对图像的重建十分重要。本发明充分发掘了深度图像的局部和非局部信息，帮助深度图像进行超分辨率重建。并且利用递归学习和残差学习的思想，减轻了卷积神经网络的负担，控制了网络的参数，提升了深度图像的重建效果。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于非局部感知的深度图超分辨率重建网络构建方法。

背景技术

随着获取深度信息的技术的发展，如激光雷达，飞行时间(TOF)相机，三维结构光，深度图像已被广泛应用于移动机器人，人机交互，人体姿态估计和三维场景重建等。然而，从这些技术获得的深度图像仍然无法满足实际需求，尤其是获取的深度图像分辨率较低。因此，如何将低分辨率的深度图像重建成高质量高分辨率深度图像成为计算视觉领域的研究热点。

近年来，随着深度学习的发展，越来越多的基于卷积神经网络的超分辨方法被提出。经过在大量图片数据集上的训练，卷积神经网络能够充分学习目标物体的特征，并将这些特征进行组合得到最后的重建结果。相较传统的超分辨算法，基于卷积神经网络的超分辨算法需要依赖于非常大的数据集，所以通过卷积层提取出的特征更具有普适性，更能代表物体的通用特征。通常，基于CNN的深度超分辨率方法可以实现比传统方法更好的性能。

但目前大量的传统深度图像超分辨算法都是基于同场景的彩色图像引导的重建，需要额外的彩色相机，增加了额外的成本。虽然基于卷积神经网络的深度图像超分辨方法较传统方法提升效果明显，但是卷积神经网络仅利用了深度图像的局部信息，实际上非局部信息对图像超分辨重建任务很重要，获取非局部信息可以减弱对彩色图像引导的依赖。因此构建一个提升效果明显，可以提取深度图像的非局部信息的超分辨网络可以大大降低系统成本。

发明内容

本发明的目的就是克服现有技术的不足，提出了一种基于非局部感知的深度图超分辨率重建网络构建方法。本方法不仅很好的提取了图像的局部信息，而且可以感知深度图像的非局部信息。最终融合这些有利信息，重建出高分辨率高质量的深度图像。具体步骤如下：

一种基于非局部感知的深度图超分辨率重建网络构建方法，该方法的具体步骤是：

步骤(1)：利用深度相机获取深度图像

使用深度相机得到一张低分辨率深度图像I_depth其分辨率为M*N，其中M和N分别为图像的高和宽。对低分辨率的深度图像I_depth进行双三次上采样操作放大至rM*rN，其中r为倍率，获得了初始的低质量高分辨率深度图像

步骤(2)：基于卷积神经网络的深度图像特征提取结构构建，在图像特征提取阶段由两层卷积核大小为3*3的卷积层，六个权值共享的不同空洞比率的3*3的卷积层组成的多尺度残差块Multi-scale Residual Block，一个非局部感知残差块Residual Non-localBlock和一层卷积核大小为3*3的卷积层组成，这个阶段中的所有的卷积层之后都紧连着一个Rectified Linear Unit激活层，得到了设计网络的特提取部分；

(a)首先通过两层卷积核大小为3*3卷积层得到初始的深度特征图

(b)多尺度残差结构构建，经过六个多尺度残差块丰富特征，假设输入特征图为X_m-1，每个多尺度残差块的计算步骤解释为如下：

①