[发明专利]基于对抗网络的快速多视角三维合成和展示方法及装置

说明书

基于对抗网络的快速多视角三维合成和展示方法及装置，对某一视角下深度图和RGB图进行处理，利用构建生成对抗网络（GAN），便可得到连续的多视角下物体的二维映射，无需对三维模型进行重建，仅仅对某一视角下深度图和RGB图进行处理，无需重建高质量的三维模型，便可得到连续的多视角下物体的二维映射，通过变换视角，可以实时的获取该二维图像，简化了三维物体展示的流程，能实现对三维物体的多视角的实时较高质量的展示。

技术领域

本发明涉及包含游戏交互，三维动画制作与合成，虚拟现实内容获取，三维虚拟物体展示等领域，具体涉及一种可将现实物体基于对抗网络快速在不同视角下合成和展示的方法及装置。

背景技术

在过去的几年里，随着移动互联网和智能设备的快速普及，人们对人机交互方式有了更高的要求，虚拟现实(VR)技术也因此有了快速的发展，三星的Gear VR头盔和OculusRift等VR设备的出现，给人们带来了全新的交互体验，人们可以通过VR设备体验VR游戏，VR社交，甚至可以将一个局部的现实世界重建出来，带给人强烈的真实感。目前，已有许多科研技术人员在研究三维重建技术，如何将现实中的物体或者场景真实的反映在虚拟世界中，然后将重建结果展示出来。所谓三维重建技术，就是通过相机采集的二维的图像，经过几何映射和点对应等方法，在三维世界中重建出三维物体，然后可以对该重建出的虚拟物体在各个视角进行观测展示，给人一种逼真的感觉。现有的对现实物体到虚拟世界的展示技术，均是通过三维重建技术进行建模，然后再通过纹理映射重光照等技术，恢复物体表面的色彩纹理和光照，然后对其进行展示。其中仅三维重建模型就包含了采集多视角图像，寻找匹配点对应，几何投影，点云融合，面片融合等各项复杂的流程，整个过程纷繁复杂，速度慢而且效果也不是尽好，重建的模型中时而会出现黑色的空洞，反而降低了模型的质量，给人不真实的感觉。鉴于以上问题，本发明从三维展示的本质出发，提出了一种无需对现实物体进行三维建模，而直接对其进行多视角展示的方法。

发明内容

为解决上述技术问题，本发明提供一种基于对抗网络的快速多视角三维合成和展示方法及装置，无需对三维模型进行重建，仅仅对某一视角下深度图和RGB图进行处理，无需重建高质量的三维模型，便可得到连续的多视角下物体的二维映射，通过变换视角，可以实时的获取该二维图像，简化了三维物体展示的流程，能实现对三维物体的多视角的实时较高质量的展示。

为实现上述技术目的，所采用的技术方案是：基于对抗网络的快速多视角三维合成和展示方法，对某一视角下深度图和RGB图进行处理，利用构建生成对抗网络（GAN），便可得到连续的多视角下物体的二维映射，其具体实现方法是：

步骤一、学习过程

1.1、获取目标物体多视角下的RGB图像P和其对应的深度图像D，并且记录其视点位置V，得到有多个(P,D,V)构成的一个数据集；

1.2、从数据集中随机取出两组数据作为输入，构建出一个训练样本，首先对训练样本进行特征提取和变换，将一组数据作为原图像，将另一组数据的视点位置作为新视角位置，得到了一个粗糙的在原图像在新视角下的投影RGBD图像；

1.3、构建生成对抗网络GAN，将粗糙的RGBD图形与一个均匀分布的随机数产生器产生的一组随机变量Z输入GAN的生成器中得到生成器生成图像，将粗糙的RGBD图形与原图像作为判别图像，与生成器生成图像一起输入CAN的判别器判别真假，通过最大化判别器的差别能力和最小化生成器的分布损失函数，得到最优图像结果，生成对抗网络CAN的整体参数；

步骤二、合成过程

在完成上述学习部分后，任意的给定一个物体的RGB图p和相应的深度图d，给定一个视角v, 将其进行视角变换后的得到的粗糙的RGBD图像输入GAN网络中，便可得到该视角下的生成图像，保持RGB图和深度图不变，变换视角位置v，便可得到不同视点下的RGB图像，即得到了对该物体多视角下的展示图。