[发明专利]一种基于改进GAN网络的空间视场图像生成方法

说明书

本发明公开一种基于改进GAN网络的空间视场图像生成方法，本方法将重叠面积大于阈值的样本划分为一组，从不同组中分别抽取数据加入训练集与验证集，根据样本参数即三维位置（x,y,z）、视角（yaw，pitch，roll）和焦距（f），训练集向验证集指定样本几何投射，得到该样本的投射训练集，GAN网络以投射训练集训练生成模型，以其对应的验证集样本训练判别模型。本方法是一个不经过三维空间建模的视场图像生成方法，即输入其它参数的二维图像序列，得到一个新参数条件下的二维视场图像，中间没有三维空间建模过程。

技术领域

本发明涉及一种基于改进GAN网络的空间视场图像生成方法，属于机器学习与图像处理领域。

背景技术

生成式对抗网络（GAN, Generative Adversarial Networks ）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生相当好的输出。近年来，GAN网络经常用于生成新图片，也可用于空间信息的生成，如将多角度二维图像变换为三维空间图像。

目前空间图像生成存在三个方面需要改进：一是，在训练模型时，需要先用专业设备采集空间数据进行三维建模，要求数据覆盖性完整，才能生成好的三维空间模型，进而基于三维空间模型生成某一位置与方向（观察者视角）的二维视场图像，没有采用二维图像序列向特定视场直接计算的方法获得；二是，在已知相机参数时，传统的计算机图像学经典方法可以进行二维图像投射，但投射后的目标视场图像可能不完整或者有较配准偏差，GAN网络在处理这一类问题时具有显著优势；三是，当可供选择的样本比较多时，采用基于已知样本序列，采用迭代方式生成目标视频图像，使图像变得更加清晰，如何通过记忆方式增强生成图像是一大技术难题。

发明内容

本发明要解决的技术问题是提供一种基于改进GAN网络的空间视场图像生成方法，从其他参数的二维图像序列得到一个新参数条件下的二维视场图像，中间没有三维空间建模过程。

为了解决所述技术问题，本发明采用的技术方案是：一种基于改进GAN网络的空间视场图像生成方法，包括以下步骤：

S01）、输入不同地点、不同视角采集的二维样本图像，并对二维样本图像进行标注，样本标注参数包括图像三维坐标（x,y,z）、视角（yaw,pich,roll）和焦距f，其中yaw表示偏航角，pitch表示俯仰角，roll表示翻滚角；

S02）、根据样本标注参数与空间几何投射方法，计算出从不同地点、不同视角拍摄的图像是否存在同一物理目标，抽取重叠面积大于指定阈值的样本图像标记为重叠组；

S03）、从每个重叠组的样本中抽取部分数据加入训练集，其余加入验证集，其中训练集用于GAN网络中的生成模型，验证集用于GAN网络中的判别模型；

S04）、重叠组中的训练集向验证集指定样本几何投射，得到该样本的投射训练集；

S05）、基于投射训练集的训练过程，训练包括两个阶段，第一阶段基于验证集指定样本的投射训练集训练生成网络模型，第二阶段基于验证集指定样本的投射训练集和生成网络模型图像训练判别网络模型；其中，生成网络模型的编码模块与解码模块之间植入记忆单元，使生成网络模型具有记忆功能；

S06）、指定观察参数预测视场图像，如果想得到某一视场二维图像，输入待获取二维图像的三维坐标（x,y,z）、视角（yaw,pich,roll）和焦距f，抽取与该视场重叠的原始样本图像，并完成相应空间几何投射，投射图像序列依次输入生成网络模型，从而得到该视场的二维图像。

进一步的，验证集指定样本的投射训练集为正样本，生成网络模型图像为负样本。