[发明专利]基于对抗网络的快速多视角三维合成和展示方法及装置

权利要求书

1.基于对抗网络的快速多视角三维合成和展示方法，其特征在于：对某一视角下深度图和RGB图进行处理，利用构建生成对抗网络（GAN），便可得到连续的多视角下物体的二维映射，其具体实现方法是：

步骤一、学习过程

1.1、获取目标物体多视角下的RGB图像P和其对应的深度图像D，并且记录其视点位置V，得到有多个(P,D,V)构成的一个数据集；

1.2、从数据集中随机取出两组数据作为输入，构建出一个训练样本，对训练样本进行特征提取和变换，将一组数据作为原图像，将另一组数据的视点位置作为新视角位置，得到了一个粗糙的在原图像在新视角下的投影RGBD图像；

1.3、构建生成对抗网络GAN，将粗糙的RGBD图形与一个均匀分布的随机数产生器产生的一组随机变量Z输入GAN的生成器中得到生成器生成图像，将粗糙的RGBD图形与原图像作为判别图像，与生成器生成图像一起输入CAN的判别器判别真假，通过最大化判别器的差别能力和最小化生成器的分布损失函数，得到最优图像结果，生成对抗网络CAN的整体参数；

步骤二、合成过程

在完成上述学习部分后，任意的给定一个物体的RGB图p和相应的深度图d，给定一个视角v, 将其进行视角变换后的得到的粗糙的RGBD图像输入GAN网络中，便可得到该视角下的生成图像，保持RGB图和深度图不变，变换视角位置v，便可得到不同视点下的RGB图像，即得到了对该物体多视角下的展示图。

2.如权利要求1所述的基于对抗网络的快速多视角三维合成和展示方法，其特征在于：所述的最大化判别器的差别能力和最小化生成器的分布损失函数为

其中，x是来自真实数据集的图像，z是一个均匀分布随机数产生器产生的一组随机变量，G是生成器，D是判别器。

3.如权利要求1所述的基于对抗网络的快速多视角三维合成和展示方法，其特征在于：所述的步骤一中的1.3步骤具体实现方法是：

（一）首先对GAN网络中所有参数，包括生成器和判别器进行随机初始化；

（二）将样本输入网络中，得到生成图像并使用判别器得到结果；

（三）固定生成器参数，应用改进的梯度下降或者其他方法，优化判别器的参数，使其判别能力得到最大；

（四）固定判别器参数，应用改进的梯度下降或者其他方法，优化生成器的参数，使得整个最大化判别器的差别能力和最小化生成器的分布损失函数最小化；

（五）判断结果是否收敛，如果没有收敛，重复（二）-（五）的操作直到收敛或最大迭代轮数；

（六）最后得到生成对抗网络CAN的整体参数。

4.如权利要求1所述的基于对抗网络的快速多视角三维合成和展示方法，其特征在于：所述的学习过程为离线过程，在系统为运行时先对该网络进行训练。

5.如权利要求1所述的基于对抗网络的快速多视角三维合成和展示方法，其特征在于：所述的合成过程为在线过程，与系统一起运作，可以边采集图像边切换视角，同时获取切换视角下的生成图像。

6.如权利要求1所述的基于对抗网络的快速多视角三维合成和展示方法，其特征在于：所述的生成器生成图像的具体实现方法是，将粗糙的RGBD图形与一个均匀分布的随机数产生器产生的一组随机变量Z输入GAN的生成器中，通过对粗糙的RGBD图形N*N的不同卷积核多次对RGBD图像进行卷积核池化操作，得到粗糙的RGBD图形的中间结果，对随机变量Z采取多次逆卷积，生成随机变量Z的中间结果，将两个中间结果拼接在一起，而后进行多次卷积和逆卷积操作最后得到生成器生成图像。

7.如权利要求1所述的基于对抗网络的快速多视角三维合成和展示方法，其特征在于：所述的获取目标物体多视角下的RGB图像P和其对应的深度图像D，并且记录其视点位置V的装置为深度相机。

8.如权利要求1实现所述的基于对抗网络的快速多视角三维合成和展示方法的装置，其特征在于：

包括，物体信息获取单元，获取目标物体多视角下的RGB图像P和其对应的深度图像D，并且记录其视点位置V，得到有多个(P,D,V)构成的一个数据集；

粗糙图像获取单元，从物体信息获取单元的数据集中随机取出两组数据作为输入，构建出一个训练样本，首先对训练样本进行特征提取和变换，将一组数据作为原图像，将另一组数据的视点位置作为新视角位置，得到了一个粗糙的在原图像在新视角下的投影RGBD图像；

学习训练单元，构建生成对抗网络GAN，将粗糙图像猎取单元得到的粗糙的RGBD图形与一个均匀分布的随机数产生器产生的一组随机变量Z输入GAN的生成器中得到生成器生成图像，将粗糙的RGBD图形与原图像作为判别图像，与生成器生成图像一起输入CAN的判别器判别真假，通过最大化判别器的差别能力和最小化生成器的分布损失函数，得到最优图像结果，生成对抗网络CAN的整体参数；

合成单元，任意的给定一个物体的RGB图p和相应的深度图d，给定一个视角v, 将其进行视角变换后的得到的粗糙的RGBD图像输入学习训练单元中，便可得到该视角下的生成图像，保持RGB图和深度图不变，变换视角位置v，便可得到不同视点下的RGB图像，即得到了对该物体多视角下的展示图。