[发明专利]基于生成对抗网络的跨视角图像翻译方法

权利要求书

1.一种基于生成对抗网络的跨视角图像翻译方法，其特征在于，包括以下步骤：

1)构建图像翻译网络

图像翻译网络包括跨视角图像生成器G_coarse、多尺度鉴别器D_s、编码器E和残差估计网络；跨视角图像生成器G_coarse选用U-net网络作为骨干网络，接受空中视角图像I_a、全景语义图像S_pano为输入，合成粗糙的地面全景图像I′_pano；残差估计网络由残差图生成器和残差图鉴别器D_r组成，残差图生成器由多个残差细化模块R_i依次级联而成，残差细化模块R_i由多层卷积神经网络组成，用以预测输入图像的残差图，并通过将跨视角图像生成器G_coarse和残差图求和，进一步合成细化精炼的地面全景图像经过残差细化模块，残差估计网络生成最终细化的地面全景图像I″_pano，残差图鉴别器D_r用来判断各个残差细化模块R_i生成残差图的真实性，并将结果反馈给残差细化模块R_i；多尺度鉴别器D_s以不同尺度图像块判断真实地面图像I_pano和最终细化的地面全景图像I″_pano的真实性，并将结果反馈给跨视角图像生成器G_coarse和残差估计网络；编码器E由数层基于残差的卷积神经网络组成，其作用为将输入图像编码为接近高斯分布的潜码z_rec，以实现网络的多样化生成；

2)训练阶段

同时对图像翻译网络进行两个模式的训练；第一种训练模式中，将真实地面图像I_pano作为编码器E的输入生成的符合高斯分布的潜码z_e、空中视角图像I_a、全景语义图像S_pano输入图像翻译网络中进行训练；在第二种训练模式中，采用随机采样的潜码z_r合并空中视角图像I_pano、全景语义图像S_pano输入图像翻译网络进行训练，编码器E连接在图像翻译网络的末端，从生成的图像I″_pano生成重构潜码z_rec，以损失函数约束E将真实地面图像和生成图像的编码映射到相同的高斯分布；

3)测试阶段

以待测试空中视角图像、全景语义图像和在高斯分布上随机采样的不同的潜码输入到训练好的图像翻译网络，获得最终细化的底面全景图，得到多样化的生成结果。

2.根据权利要求1所述的跨视角图像翻译方法，其特征在于，残差估计网络中，将全景语义图像和空中视角图像与前一个残差细化模块的细化输出合并起来作为后续精炼的输入；第i阶段细化的全景图像的生成定义为：

其中和表示第(i-1)和第i块的细化图像输出，R_i表示第i级残差细化模块。

3.根据权利要求1所述的跨视角图像翻译方法，其特征在于，步骤2)中，

①第一种训练模式中，真实地面图像I_pano与最终生成的地面全景图像I″_pano之间的重建损失设计如下：

其中代表期望运算，I_a代表了空中视角图像；

采用KL散度，通过如下的损失函数L_KL来优化编码器：

其中E()表示编码器，表示高斯分布；

②第二种训练模式中，重构潜码z_rec由于另一重构损失而被迫接近随机潜码z_r，其表达式为：

③使用多尺度鉴别器D_s鉴别残差估计网络预测的中间的残差图，将跨视角图像生成器生成的粗糙全景图像I′_pano的对抗损失公式表示为：

其中，D_s表示多尺度鉴别器；

经过多级细化后，网络生成了中间图像包括最终细化的图I″_pano，空中视角图像和生成的中间图像对的对抗性损失公式如下：

由以上两式得到总的多级对抗损失为：

其中λ_refine为平衡粗糙损失和精细损失贡献的权重因子，N为级联细化的阶段总数；

④估计的残差图用于填补生成的中间图像与真实地面图像之间的空白，因此，给定生成的中间图像将真实的残差图定义为则残差重构损失为：

其中D_r为残差图的鉴别器，为第i级残差细化模块生成的残差图，总残差重构损失是所有中间残差重构损失的总和：

⑤总体损失

将损失函数的加权求和作为整个图像翻译网络的总体损失，记为：

其中是λ₁、λ₂、λ₃、λ₄是控制每个损失在总体损失函数中所占比例超参数。