[发明专利]基于非对称卷积网络和注意力机制的跨视角图像生成方法

说明书

本发明公开了一种基于非对称卷积网络和注意力机制的跨视角图像生成方法，该网络结构由两个部分组成：一阶段生成网络和二阶段生成网络。首先，将原始输入送到一阶段生成网络中生成粗略的结果，然后将一阶段网络生成的粗略结果作为输入送到二阶段生成网络中生成精细的结果，将其作为最终的结果输出。本方法在U‑net网络中嵌入非对称卷积来提高网络在不同尺度上提取对象特征的能力，并且使用空间自适应归一化代替传统的批归一化。此外，为了更好地学习来自不同视图的图像之间的对应关系，本方法使用SE模块来细化中间特征图，从而生成更真实的图像。最后，本方法还设计了一个额外的损失函数来增强网络的学习能力，从而实现更稳定的优化过程。

技术领域

本发明涉及跨视角图像生成领域，具体为一种基于非对称卷积网络和注意力机制的跨视角图像生成方法。

背景技术

图像翻译是近年来一种基于深度学习的热门技术，深度学习技术非常适合应用于图像翻译当中，最初在图像转换方向具有较好效果的是卷积神经网络，卷积神经网络对图像特征的高层特征的抽取能够使图像风格和内容进行分离。近年来，生成式对抗网络(GAN)成为了人工智能领域热门的研究方向，GAN在图像领域任务表现突出，GAN识别图像时，不但识别了图片的内容，还可以生成各种不同内容的图片，这种生成模型提出了一种全新的概念，大量的研究者投入到了GAN的研究当中。

跨视角图片生成是图像翻译中一个长期存在的问题。首先，空中图像覆盖的区域比街景图像更宽，而街景图像包含更多关于物体(如房屋，道路，树木)的细节。因此，航空图像中的信息不仅噪声太大，而且对街景图像合成的信息量也较少。同样，一个网络需要估计很多区域来合成航空图像。第二，像汽车这样的瞬变物体(或人)在图像对应的位置不存在。它们是在不同的时间拍摄的。第三，街景不同的房屋鸟瞰看上去相似。这导致合成的街景图像包含具有相似颜色和纹理的建筑物，阻碍了生成建筑物的多样性。第四个挑战是由于通畅和闭塞而在两个视图中的道路之间的变化。尽管道路边缘在街道视图中几乎是线性的和可见的，但在空中观察它们通常被密集的遮挡和是扭曲的。第五，当使用模型生成的分割图作为地面真实值以提高生成图像的质量时，就像这里所做的那样，标签噪声和模型误差会在结果中引入一些伪像。

GAN应用了博弈论的思想完成了图像与图像之间的转换，在深度学习中的无监督学习表现良好，同时，这种算法可以大大的降低人工添加标签的成本。但由于GAN存在着如训练不稳定，模式崩溃等缺点，因此，提高GAN在图像翻译的稳定性及多样性变非常有意义，在未来也有着重要的应用前景。

发明内容

为了弥补以上不足，本发明提出了一种基于非对称卷积网络和注意力机制的跨视角图像生成方法，能够实现生成更加接近真实的图像。

本发明采用以下技术方案：

一种基于非对称卷积网络和注意力机制的跨视角图像生成方法，包括以下步骤：

(1)将俯视图Ia和街景图的语义图Sg输入到生成器1中，利用非对称卷积神经网络提取特征生成粗略的街景图Ig’和特征图F1；

(2)将步骤(1)中生成的粗略的街景图Ig’输入到生成器2中，利用非对称卷积神经网络提取特征生成相应的粗略的语义图Sg’和特征图F2；

(3)将步骤(1)和步骤(2)中的特征图F1和F2在通道上连接到一起输入到SE模块中，生成精细的特征图F1’和F2’；

(4)将俯视图Ia和步骤(1)中生成的粗略的街景图Ig’在通道上连接起来，然后再和步骤(3)中生成的精细的特征图F1’和F2’连接起来输入到生成器3中，利用非对称卷积神经网络提取特征生成精细的街景图Ig”；

(5)将步骤(4)中生成的精细的街景图Ig”输入到生成器2中，利用非对称卷积神经网络提取特征生成相应的精细的语义图Sg”作为最终的输出；

(6)通过损失函数不断地更新学习参数从而生成更加真实的结果。