[发明专利]深度图增强方法和深度图增强装置

说明书

本发明提供了一种深度图增强方法和一种深度图增强装置，其中，深度图增强方法包括：对训练集图像的多个图像特征信息进行提取，得到多个图像特征信息的第一联合特征；对测试集图像的多个图像特征信息进行提取，得到多个图像特征信息的第二联合特征；基于第一联合特征与第二联合特征的相似性，查找测试集图像在训练集图像的对应部分的最近邻；根据查找到的最近邻，对测试集图像进行邻域嵌入，用以重建测试集图像的高频信息、低频信息和梯度信息；利用全局优化方程结合高频信息、低频信息和梯度信息，得到增强后的测试集图像。通过本发明的技术方案，可以有效地增强深度图的结构和细节，提升深度图的视觉质量。

技术领域

本发明涉及图像增强技术领域，具体而言，涉及一种深度图增强方法和深度图增强装置。

背景技术

随着普通用户消费级别深度摄像机的发展，深度图的应用变得越来越广泛而重要。深度图不仅对环境变化鲁棒，而且还能提供空间信息。因此，深度图在场景分类与识别、三维建模、行为检测、手势识别和人脸识别等领域有着重要的应用。然而，普通用户消费级别的深度摄像机采集到的原始深度图往往有严重的降质问题，包括过低的分辨率，噪声和信息丢失，这些问题极大地限制了对深度信息的利用。

因此，如何有效地增强深度图的结构和细节，提升深度图的视觉质量成为亟待解决的技术问题。

发明内容

本发明旨在至少解决上述现有技术或相关技术中存在的技术问题之一。

为此，本发明的一个目的在于提出了深度图增强方法。

本发明的另一个目的在于提供一种深度图增强装置。

为实现上述目的，根据本发明的第一方面的实施例，提出了一种深度图增强方法，包括：对训练集图像的多个图像特征信息进行提取，得到多个图像特征信息的第一联合特征；对测试集图像的多个图像特征信息进行提取，得到多个图像特征信息的第二联合特征；基于第一联合特征与第二联合特征的相似性，查找测试集图像在训练集图像的对应部分的最近邻；根据查找到的最近邻，对测试集图像进行邻域嵌入，用以重建测试集图像的高频信息、低频信息和梯度信息；利用全局优化方程结合高频信息、低频信息和梯度信息，得到增强后的测试集图像。

根据本发明第一方面实施例的深度图增强方法，提出联合多种图像特征进行深度图图像增强，首先提取训练集图像的多个图像特征信息，得到多个图像特征信息的第一联合特征，并提取测试集图像的多个图像特征信息，得到多个图像特征信息的第二联合特征，其中，如果仅利用单一的图像特征或者仅利用图像低层信息来增强图像，或者分别从多个方面进行多次增强，效果差强人意，本发明提出联合多种特征的方案进行深度图图像增强，其中第一联合特征和第二联合特征充分考虑了高层信息和低层信息，构建了准确的相似度准则，然后利用第一联合特征与第二联合特征的相似性，查找测试集图像在训练集图像的对应部分的最近邻；再根据查找到的最近邻，对测试集图像进行邻域嵌入算法，重建测试集图像的高频信息、低频信息和梯度信息；利用全局优化方程，并结合重建后测试集图像的高频信息、低频信息和梯度信息，最终得到增强后的测试集图像，测试集中的低分辨率图像得到增强，例如，测试集图像是人脸图像时，则会使增强后的深度图更符合人脸的物理结构，有效增强了人脸深度图的结构和细节，提升了人脸深度图的视觉质量。总体上，本发明设置训练集对测试集的图像处理方法进行教导，利用机器学习提高测试集增强图像的能力，重建低分辨率深度图缺失的信息，并增强了低分辨深度图的整体质量。

根据本发明第一方面实施例的深度图增强方法，优选地，在对训练集图像的多个图像特征信息进行提取，得到多个图像特征信息的第一联合特征之前，还包括：接收高分辨率深度图和相关的高分辨率彩色图，用以组建训练集；接收低分辨率深度图和对应的高分辨率彩色图，用以组建测试集。

在该实施例中，通过接收高分辨率深度图和相关的高分辨率彩色图，来组建训练集，保证训练集图像和测试集图像的深度图和对应彩色图的一致性并利用训练集对测试集进行监督训练；将待增强的低分辨率深度图和对应的高分辨率彩色图，放入测试集，进行有监督学习，从训练集获取增强图像的方法。