[发明专利]一种深度图超分辨率重建和去噪神经网络的数据处理方法

说明书

本发明提供一种深度图超分辨率重建和去噪神经网络的数据处理方法，包括获取原始图像数据，利用原始图像数据制作纹理图和深度图图像对；对深度图显式引入深度梯度域和像素域特征，构造神经网络渐进式增强深度特征；设定损失函数，并对损失函数进行优化，迭代更新神经网络模型参数，学习目标数据分布；以高分辨率纹理图和低分辨率深度图为输入，通过训练的神经网络模型重构高质量深度图。本发明能够获得鲁棒的深度图增强效果，同时具有使用简便、运行速度快等优点。

技术领域

本发明涉及图像数据处理的技术领域，具体的，涉及一种深度图超分辨率重建和去噪神经网络的数据处理方法。

背景技术

与传统的纹理图像相比，深度图是一种特殊的图像，它用于记录场景的几何信息。近年来，结合纹理图和深度图的RGB-D数据格式已被广泛应用于虚拟现实、三维重建等高新技术方面。随着成像技术的不断提高，高质量的纹理图已实现移动设备的获取。然而，作为现代多媒体重要组成部分的深度图的获取质量却差强人意。虽然传统的立体匹配方法受益于神经网络技术的发展，其性能已得到显著提高，但是，在遮挡区域和低纹理区域的匹配歧义性问题并未得到完全解决。随着深度传感器的价格逐步下降，大量应用使用消费级传感器直接实时获取场景深度图。其中，主流的基于飞行时间的深度传感器技术通过测量发射和接收红外线之间的相位差计算深度信息。由于直接获取的深度图分辨率较低且易受到噪声污染，所以，需要对原始深度图进行超分辨重建和去噪处理。通常，深度图超分辨率重建和去噪是联合处理的，因此，可以使用深度图超分辨率重建指代该联合处理方法。

深度图超分辨率重建方法可以分为单深度图超分辨率重建和基于纹理图指导的超分辨率重建两大类。单深度图超分辨率重建受到传统的单纹理图超分辨率重建研究的影响，引入了稀疏编码和神经网络等模型。例如，不同的研究人员提出了多种实现方法，典型的实现方法有如下的几种：提取各向异性扩散张量用于描述高质量深度图边界的锐化度，并将其引入马尔可夫随机场；在稀疏编码中引入局部坐标先验，针对低分辨率深度图图像块和高分辨率深度图图像块联合训练对应的字典对，该初始增强结果的质量被自适应规正滤波器和L0梯度平滑优化进一步提升；结合多方向字典稀疏表示和自回归模型重建高质量深度图；使用深度卷积神经网络训练马尔可夫随机场的数据项和规正项；使用深度卷积神经网络重构高质量深度边界图，并以此为指导信息构建规正项；使用深度监督神经网络将深度图超分辨率重建分解为一系列视点合成子任务；使用深度稠密残差单元构造金字塔结构。虽然单深度图超分辨率重建方法在低尺度下具有较稳定的性能，但是，对于中高尺度，往往会丢失深度图细小结构信息，扭曲图像细节。

与单深度图超分辨率重建相比，基于纹理图指导的深度图超分辨率重建方法通过引入高质量纹理图指导信息，提升了算法在中高尺度下的鲁棒性。此类方法可以被细分为三大类，即基于局部滤波的方法、基于全局模型优化的方法和基于机器学习的方法。以下将分别介绍这些方法中的一些典型的工作。

基于局部滤波的方法是基于预设置的特殊滤波器和局部先验，每个像素的深度值被独立地计算。不同研究人员提出了多种实现方法，包括：基于双边滤波器的架构，通过迭代优化深度图边界提升深度图质量；减小初始深度图中不可靠边界像素的权重；构造像素坐标和颜色组成的联合空间，并基于该空间的测地距计算双边滤波器的权重；使用联合双边滤波器对所有像素在深度参考值列表中计算代价，为每个像素选择代价最小的参考深度值；搜索联合直方图的最大值，使用L1范数优化提升深度图质量；将滤波后的深度图和纹理图的关系用局部线性函数描述；使用联合三边滤波器综合考虑深度图中的空间、颜色和梯度信息，抑制纹理拷贝赝像。总体来说，基于滤波的方法计算复杂度低，但是性能有限。