[发明专利]一种基于深度神经网络的多信息融合的场景深度恢复方法

说明书

本发明为一种基于深度神经网络的多信息融合的场景深度恢复方法，属于图像处理领域。该方法采用深度卷积网络预测深度图像边界，并使用求得的边界进行指导插值求得高质量深度图。使用彩色图像辅助图像边界预测，能更好的预测在低分辨率的深度图像上不明显的边界，彩色图像辅助插值能够使得到的深度图像符合实际场景的空间结构。方法程序简单，易于实现。根据预测的边界对深度图像分块求深度信息，计算速度快，避免不同区域的深度信息的干扰，精确度高，求得的高分辨率深度图像清晰，边界锋利。

技术领域

本发明属于图像处理领域，涉及采用深度卷积网络预测深度图像边界，并使用边界指导进行插值以求得高质量深度图，具体涉及一种基于深度神经网络的多信息融合的场景深度恢复方法。

背景技术

场景深度对于自然场景理解十分重要，广泛用于三维(3D)建模，可视化以及自动驾驶等；然而实际场景的复杂性以及图像传感器的限制，获取的场景深度信息的准确性以及分辨率都不足以应用到实际场景。例如当前微软的第二代Kinect(Kinect2)采集的深度图像的分辨率仅为512×424，而对应的彩色图像的分辨率为1920×1080。一般实际使用采集到的深度信息需要将获取的深度信息提升分辨率。

通常，恢复高分辨率的场景深度图像的一个方法是使用对应的彩色图像辅助进行双边插值进行深度图像的恢复。一些现有方法根据彩色图像和深度图像的纹理对应的性质设计了能量函数(J.Yang，X.Ye，K.Li，C.Hou，and Y.Wang，“Color-guided depthrecoveryfrom RGBD data using an adaptive autoregressive model.”IEEETIP，vol.23，no.8，pp.3443-3458，2014)，通过优化能量函数使恢复的深度图像既满足值大小的分布和小分辨率的图像分布相同，又满足纹理上的相容性。一些方法构建边界字典存储小分辨率的深度图的纹理和高分辨率的深度图的纹理对应关系(Jun Xie，R.S.Feris，and Ming Ting Sun，“Edge-guidedsingledepthimagesuperresolution，”IEEETransactions on ImageProcessing，vol.25，no.1，pp.428，2016)，从而根据字典搜索求得大分辨率的深度图像的边界，然后指导深度图像的插值。但是这种方法的得到的边界不够平滑，而且没有使用彩色图像的信息，所以图像质量不高。

彩色图像提供了高分辨率的场景信息，可以为场景深度的恢复提供丰富的纹理信息。场景深度相对于实际场景纹理信息较少。深度信息恢复的难点在于边界纹理的恢复。基于此，通过深度学习，可以设计一个融合彩色图像信息和深度图像信息的预测比较平滑的边界的网络，并且使用预测到的边界结合彩色图像恢复场景深度图像。

发明内容

本发明旨在克服现有技术的不足，一种基于深度神经网络的多信息融合的场景深度恢复方法。经观察，场景深度图像的纹理结构相比于彩色图像纹理较为简单，恢复精确的边界问题为深度图像恢复的难点。基于此，本方法使用深度学习的方法设计了融合彩色图像和深度图像的预测平滑的边界的网络，并使用预测出的边界结合彩色图像恢复场景深度图像。

本发明的技术方案为，一种基于深度神经网络的多信息融合的场景深度恢复方法，所述方法包括下列步骤：

第一步，准备训练数据；

训练数据包括高分辨率的彩色图像，低分辨率的深度图像，高分辨率的深度图像对应的边界图像。

第二步，搭建边界预测网络，输入的彩色图像经过一次卷积和一个包括两个卷积的残差结构，得到彩色分支的特征图；输入的深度图像使用反卷积操作实现两次上采样，分辨率和彩色图像分辨率一样大小，每次反卷积之前经过3次卷积，其中，后两次卷积使用残差网络的结构利于网络收敛；融合高分辨率的彩色图像的特征图之后，预测得到对应于高分辨率深度图像的边界图像；

第三步，构建损失函数并训练网络；