[发明专利]一种基于差分对比学习的深度图合成方法

说明书

本发明提供了一种基于差分对比学习的深度图合成方法，该方法采取了一种基于差分对比学习的策略，可以有效地限制深度卷积神经网络生成深度图过程中造成的几何形变，从而可以让渲染得到的无噪声深度图具有真实扫描结果的特征，同时能够很好地保持原本几何结构。在利用渲染数据集进行真实扫描数据集上的深度图增强，语义分割和法向贴图估计的任务中，本发明方法得到的合成深度图均取得了最好的结果。

技术领域

本发明属于计算机视觉和计算机图形学领域，尤其涉及一种基于差分对比学习的真实深度图像合成方法。

背景技术

随着图形学技术的发展和市场需求，已经有大量的开源三维模型数据集，其中就包括室外大场景的和室内场景的。利用三维模型数据集，人们可以通过渲染等方式，轻松得到一些可以应用于视觉任务的数据集，比如利用三维模型自带的类别标签，生成用于语义分割的数据集。而对于真实扫描的三维数据，首先需要通过算法重建出三维场景，这个过程往往会不够鲁棒；其次，对于物品类别这样的标签，则需要人为进行标记。在这样的背景下，很多方法开始探索如何将三维模型数据集有效应用到视觉任务上；但是由于渲染数据集与真实数据集之间存在着不可以避免的差别，在渲染数据集上表现好的方法无法直接应用到真实数据集上。因此，人们需要探索渲染数据集和真实数据集之间域的转换。

利用不配对数据集进行彩色图像域转换的各项工作已经在数字艺术领域取得了广泛的应用，然而对深度图像的转换目前还没有很有效的方法。在彩色图像上取得成功的方法，因为没有考虑到深度图像的几何结构，直接应用在深度图像上就会造成严重的几何形变。

对比学习的概念已经在自监督的表达学习各类方法中展现了它的能力，由于渲染数据集和真实数据集不存在匹配的数据，对比学习的方法在此情况下可以发挥优势。

发明内容

本发明提供了一种具有高几何保持度的深度图合成方法，该方法可以让渲染得到的无噪声深度图具有真实扫描结果的特征，同时能够很好地保持原本几何结构。同时在利用渲染数据集进行真实扫描数据集上的深度图增强，语义分割和法向贴图估计的任务中，本发明得到的合成深度图均取得了最好的结果。

本发明是通过以下技术方案来实现的：

一种基于差分对比学习的真实深度图合成方法，通过一深度卷积神经网络G作为数据集映射的载体，将渲染合成的深度图和其对应的彩色图，映射合成为具有真实扫描深度图特征的合成深度图；其中，所述训练好的深度卷积神经网络G通过如下步骤训练获得：

步骤一：选取渲染得到的合成数据集D^s＝{(d^s,I^s)}和一个真实扫描的数据集D^r＝{(d^r,I^r)}，其中，d和I分别表示为配对的深度图和彩色图。

步骤二：将步骤一获取的两个数据集输入至深度卷积神经网络G，并构建一判别器对深度卷积神经网络G进行训练，训练包括：

利用判别器对从合成数据集映射合成的合成深度图与真实扫描的数据集中的深度图d^r进行判别，采用生成式对抗神经网络的方法以减小两个数据分布间的差异为目标进行训练；

利用深度卷积神经网络G中的编码器部分分别提取合成数据集的深度图d^s和其对应的合成深度图的特征，并分别按位置两两相减计算差分，采用对比学习以减小合成数据集的深度图d^s与其对应的合成深度图特征之间同样位置差分的相互差异为目标进行训练。

以减小深度卷积神经网络G对真实扫描的数据集中的深度图d^r产生的无效映射为目标进行训练。

其中，渲染得到的合成数据集为通过渲染开源三维模型数据集获得，真实扫描的数据集为通过扫描仪等设备采集获得。