[发明专利]基于无监督数据的TOF深度数据优化方法及装置

说明书

本发明公开了一种基于无监督数据的TOF深度数据优化方法及装置，其中，方法包括：获取不含噪声的人体三维模型数据库；确定模拟噪声的自变量；分别在纵向方向和横向方向添加噪声；对原始三维模型和加噪后的三维模型进行渲染，并搭建编码器解码器网络；设计能量函数和监督网络，将网络输出结果输入监督网络，约束监督网络逐卷积层提取的特征图趋近；利用人体三维模型数据库和能量函数对生成式对抗神经网络中的生成器和鉴别器的参数权重进行迭代回归优化，直至权重收敛，将采集的真实场景下人物深度图片作为输入，得到包含几何细节且不含噪声的人体网格模型。该方法使用无监督的三维扫描数据生成式对抗网络，在保留几何细节的同时提升深度数据质量。

技术领域

本发明涉及计算机视觉中的三维重建技术领域，特别涉及一种基于无监督数据的TOF 深度数据优化方法及装置。

背景技术

随着计算机视觉领域中的三维重建技术的不断发展，人体的三维重建技术成为了计算机室领域中的一个研究热点。利用深度相机采集深度图片，从而为三维重建技术提供额外的深度信息目前正成为研究工作中的重要方向。

目前流行的消费级基于TOF原理单目深度相机，通过连续发射光脉冲(一般为不可见光)到被观测物体上，然后接收从物体反射回去的光脉冲，通过探测光脉冲的飞行(往返)时间来计算被测物体离相机的距离。尽管目前微软的KinectV2设备精度及深度图像质量相比之前已经有了很大的发展，但是由于设备传感器精度有限及TOF本身成像原理，其结果具有明显噪声分布。

目前主流的针对深度图片的噪声去除主要通过设计低通滤波器，滤除高频噪声。但是在采集人物的深度图片时，由于人物的五官以及衣服褶皱等几何细节的存在，采用低通滤波器会同时噪声精细几何信息的损失。另一方面利用深度神经网络实现在保留几何细节的同时提升深度数据质量被寄予厚望，但由于真实采集的深度数据由于缺少与之配对的真实深度图片，难以构造有监督的真实数据进行训练优化。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于无监督数据的TOF深度数据优化方法，该方法只需要使用无监督的三维扫描数据，就可利用生成式对抗网络，在保留几何细节的同时提升深度数据质量。

本发明的另一个目的在于提出一种基于无监督数据的TOF深度数据优化装置。

为达到上述目的，本发明一方面实施例提出了一种基于无监督数据的TOF深度数据优化方法，包括以下步骤：获取不含噪声的人体三维模型数据库；分析采集图片的噪声分布模式，确定模拟噪声的自变量为以物体表面点距深度相机的距离和在相机坐标系中的法向；分别在纵向方向和横向方向添加噪声；对原始三维模型和加噪后的三维模型进行不同视角、不同光照、不同背景下的渲染，得到的图片作为网络训练时的原始数据，并基于Pytorch 深度学习平台搭建编码器解码器网络；设计基于L1范数的3Dloss作为主要约束的能量函数，并设计监督网络，将网络输出结果的法向梯度图与无噪声模型的法向梯度图输入监督网络，约束监督网络逐卷积层提取的特征图趋近；利用所述人体三维模型数据库和能量函数对生成式对抗神经网络中的生成器和鉴别器的参数权重进行迭代回归优化，直至权重收敛，将利用微软KinectV2深度相机采集的真实场景下人物深度图片作为输入，得到包含几何细节且不含噪声的人体网格模型。

本发明实施例的基于无监督数据的TOF深度数据优化方法，对于精细的人物三维模型数据库，利用数学方法仿真TOF原理深度相机噪声分布，利用渲染得到的深度数据，搭建生成式对抗神经网络，将含噪的深度图进行优化质量提升；将利用微软KinectV2深度相机采集的真实场景下人物深度图片作为输入，网络即可输出包含几何细节的人体网格模型；从而只需要使用无监督的三维扫描数据，就可利用生成式对抗网络，在保留几何细节的同时提升深度数据质量。

另外，根据本发明上述实施例的基于无监督数据的TOF深度数据优化方法还可以具有以下附加的技术特征：