[发明专利]一种基于生成式对抗网络的虚拟视点图像生成方法

摘要

本发明涉及一种基于生成式对抗网络的虚拟视点图像生成方法，包括下列步骤：第一步，制作数据集，获得训练生成式对抗网络所需要的图像对；构建模型：生成器和判别器使用的结构均为卷积层后接批量归一化层BatchNorm以及非线性运算单元ReLU激活函数的形式，所有的卷积层使用4×4的卷积核大小，并将步长设置为2，对特征图像进行降采样时长宽均缩小为原来的一半，上采样时长宽均放大至2倍，Dropout层将Dropout率设置为50％；RelU激活函数选用LeakyReLu；定义损失；进行模型的训练和测试。

主权项

1.一种基于生成式对抗网络的虚拟视点图像生成方法，包括下列步骤：第一步，制作数据集：对于立体图像，根据双目图像的特点，采用数据增强手段，获得训练生成式对抗网络所需要的图像对，将一一对应的左眼视图与右眼视图水平拼接成一张图片，从而得到训练图像和测试图像，生成数据集。第二步，构建模型：生成器和判别器使用的结构均为卷积层后接批量归一化层BatchNorm以及非线性运算单元ReLU激活函数的形式，所有的卷积层使用4×4的卷积核大小，并将步长设置为2，对特征图像进行降采样时长宽均缩小为原来的一半，上采样时长宽均放大至2倍，Dropout层将Dropout率设置为50％；RelU激活函数选用LeakyReLu；搭建生成器时，在编码器‑解码器架构的基础上，在编码模块与解码模块的对应层之间加入跳跃链接，使得对应的特征图能够按通道连接起来，在解码器的最后一层卷积层中，使用Tanh函数代替ReLU作为卷积层的激活函数；搭建判别器，采用不同大小感受野的网络架构，以综合得到更好的判别结果，在判别器的最后一层卷积层中，使用Sigmoid函数代替ReLU作为卷积层的激活函数，特征图被映射到一维的输出，表示判别虚拟视点图像为真实的概率；第三步，定义损失：将生成式对抗网络损失函数与损失函数一范数损失L1相结合，并将L1权重设置为100；第四步，进行模型的训练和测试训练与测试过程中将batch size设置为1，将第一步得到的数据集，每次随机选择一对训练图像，随机裁剪为256×256大小，输入到网络中进行训练调整训练参数，在训练的过程中首先固定生成器，更新判别器的网络权重，然后固定判别器，根据判别器的判别结果更新生成器的权重，如此反复，交替迭代训练，直到双方达到一个动态平衡；训练完成后，经测试集的图像输入训练好的生成器网络中，测试虚拟视点图像的生成效果。