[发明专利]基于生成对抗网络的跨视角图像翻译方法

说明书

本发明公开了一种基于生成对抗网络的跨视角图像翻译方法。本发明方法包括以下步骤：1）构建图像翻译网络，图像翻译网络包括跨视角图像生成器和基于残差的级联细化模块，跨视角图像生成器选用U‑net作为骨干网络，用于合成粗糙的地面全景图像；级联细化模块用于合成细化精炼的地面全景图像；2）同时对图像翻译网络进行两个模式的训练；第一种，将真实地面图像作为编码器输入生成的符合高斯分布的潜码合并空中视角图像、全景语义图像输入图像翻译网络进行训练；第二种，采用随机采样的潜码合并空中视角图像、全景语义图像输入；3）测试阶段。本发明方法用于从单一航空图像生成多样的地面视角图像，具有更真实的细节。

技术领域

本发明属于人工智能、计算机视觉技术领域，具体涉及一种基于生成对抗网络的跨视角图像翻译方法。

背景技术

近年来，人工智能和深度学习技术在计算机视觉领域得到了广泛应用，生成对抗网络被广泛用于图像生成任务中。一般来说，基于生成对抗网络的技术大多专注于自然图像生成、图像超分辨率、图像风格迁移、面部图像转换等任务。尽管这些工作取得了令人印象深刻的效果，但这些工作仍未能将图像翻译任务扩展到跨视角场景。

得益于生成对抗网络的快速发展，基于生成对抗网络的图像翻译任务得到了广泛的研究。跨视角图像翻译是针对同一地点，空中和地面两个不同视角的场景图像转换，它同时涉及到语义和外观两个层面的翻译。此任务近年来受到越来越多的关注。

虽然现有工作在跨视角图像翻译任务上取得了一些成果，但目前仍存在较多问题。首先，其仅能生成小部分固定视角的地面图像，且生成的地面视角图像无法保留空中视角图像丰富的语义信息。其次，现有工作忽略的图像翻译的生成多样性，将图像翻译变成了确定性的一对一映射任务，但空中视角图像在向地面视角图像转化时，由于遮挡、噪声和旋转等因素，可能呈现出不同的外观风格。因此，从空中视角图像生成多样化的地面图像更接近真实的情况。最后，现有工作的生成结果容易产生伪影和模糊的现象，原因是地面视角图像中对物体的外观的描述比空中视角图像更加详细。

发明内容

针对现有技术的不足，本发明的目的在于提供一种基于生成对抗网络的跨视角图像翻译方法。本发明方法用于从单一航空图像生成多样的地面视角图像。

一种基于生成对抗网络的跨视角图像翻译方法，包括以下步骤：

1)构建图像翻译网络

图像翻译网络包括跨视角图像生成器G_coarse、多尺度鉴别器D_s、编码器E和残差估计网络；跨视角图像生成器G_coarse选用U-net网络作为骨干网络，接受空中视角图像I_a、全景语义图像S_pano为输入，合成粗糙的地面全景图像I′_pano；残差估计网络由残差图生成器和残差图鉴别器D_r组成，残差图生成器由多个残差细化模块R_i依次级联而成，残差细化模块R_i由多层卷积神经网络组成，用以预测输入图像的残差图，并通过将跨视角图像生成器G_coarse和残差图求和，进一步合成细化精炼的地面全景图像经过残差细化模块，残差估计网络生成最终细化的地面全景图像I″_pano，残差图鉴别器D_r用来判断各个残差细化模块R_i生成残差图的真实性，并将结果反馈给残差细化模块R_i；多尺度鉴别器D_s以不同尺度图像块判断真实地面图像I_pano和最终细化的地面全景图像I″_pano的真实性，并将结果反馈给跨视角图像生成器G_coarse和残差估计网络；编码器E由数层基于残差的卷积神经网络组成，其作用为将输入图像编码为接近高斯分布的潜码z_rec，以实现网络的多样化生成；

2)训练阶段