[发明专利]一种基于GAN的三维地图修复方法

权利要求书

1.一种基于GAN的三维地图修复方法，其特征在于，首先，对输入的三维地图中原始待修复色彩图像和其对应的待修复伪色彩视差图进行缩放和归一化处理，使其大小为H*W；其次，把待修复色彩图像和待修复伪色彩视差图同时传入生成模型，生成模型同时对其进行修复；再次，生成模型完成对待修复色彩图像和待修复伪色彩视差图的修复，得到修复后的色彩图像和修复后的伪彩色视差图；

所述的生成模型的训练过程包括以下步骤：

S21.把待修复色彩图像和其对应的待修复伪色彩视差图输入到生成模型，其中，色彩图像或伪彩色视差图的生成器损失函数L_gen，L_gen为真色彩图像与待修复的色彩图像判别结果L1距离的期望，或者真伪色彩图与待修复的伪彩色视差图判别结果L1距离的期望：

式中，x为真色彩图像或真伪色彩图；

为待修复的色彩图像或伪彩色视差图；

为待修复的色彩图像或伪彩色视差图经过生成器的预测结果；

D(x)为真色彩图像或真伪色彩图的真值；

S22.生成模型完成对待修复色彩图像和待修复伪色彩视差图的修复，得到修复后的色彩图像和修复后的伪彩色视差图。

2.根据权利要求1所述的基于GAN的三维地图修复方法，其特征在于，还包括判别模型，所述的判别模型用于判别生成模型的好坏，若判别结果显示生成模型的输出结果不好则继续训练生成模型。

3.根据权利要求2所述的基于GAN的三维地图修复方法，其特征在于，所述的生成模型包括特征共享模块、色彩图像特征模块以及伪色彩视差图像特征模块；所述的特征共享模块包括4个神经网络层，其第一层为输入层，其它层均为卷积层；第一层的数据维度为H*W*6，第二层和第三层的数据维度为(H/2)*(W/2)*256，第四层数据维度为(H/4)*(W/4)*512；色彩图像特征模块和伪彩色视差图特征模块均包括4个卷积层，其第一层的数据维度为(H/4)*(W/4)*512，第二层和第三层数据维度为(H/2)*(W/2)*256，第四层数据维度为H*W*3。

4.根据权利要求2所述的基于GAN的三维地图修复方法，其特征在于，所述的判别模型包括特征共享模块、色彩图像特征模块和伪彩色视差图特征模块；所述的特征共享模块包括3个神经网络层，其第一层为输入层，其它层均为卷积层；第一层的数据维度为H*W*6，第二层数据维度为(H/2)*(W/2)*256，第三层数据维度为(H/4)*(W/4)*512；色彩图像特征模块和伪彩色视差图特征模块均包括3个卷积层，其第一层和第二层的数据维度为(H/4)*(W/4)*512，第三层数据维度为1*1。

5.根据权利要求2至4任一项所述的基于GAN的三维地图修复方法，其特征在于，判别模型的训练过程包括以下步骤：

S11.把真色彩图像和其对应的真伪色彩视差图输入到判别模型D，其中：判别器损失函数L_dis为真色彩图像与待修复的色彩图像判别结果L1距离的期望，或者真伪色彩图与待修复的伪彩色视差图判别结果L1距离的期望：

式中：x为真色彩图像或真伪色彩图；

为待修复的色彩图像或伪彩色视差图；

为待修复的色彩图像或伪彩色视差图经过生成器的预测结果；

D(x)为真色彩图像或真伪色彩图的真值；

S12.训练判别模型；

S13.通过sigmoid函数，对判别模型的输出结果，即色彩图像输出结果和伪彩色视差图输出结果进行判别真伪。

6.根据权利要求5所述的基于GAN的三维地图修复方法，其特征在于，在训练过程中，生成模型和判别模型进行迭代训练。