[发明专利]一种基于GAN的三维地图修复方法

说明书

本发明涉及深度学习技术领域，更具体地，涉及一种基于GAN的三维地图修复方法。首先，对输入的原始待修复色彩图像和其对应的待修复伪色彩视差图进行缩放和归一化处理，使其大小为H*W；其次，把待修复色彩图像和待修复伪色彩视差图输入到生成模型；再次，生成模型完成对待修复色彩图像和待修复伪色彩视差图的修复，得到修复后的色彩图像和修复后的伪彩色视差图。本发明提供的基于GAN的三维地图修复方法中生成模型和判别模型均有卷积神经网络构成，卷积神经网络可以很好地提取图像特征，解决传统方法难处理无纹理或弱纹理的图像的问题。

技术领域

本发明涉及深度学习技术领域，更具体地，涉及一种基于GAN的三维地图修复方法。

背景技术

高精度地图是无人驾驶技术的最为核心技术之一，直接决定无人驾驶车的智能程度。修复问题根据处理对象的不同可以分为：色彩图像修复、深度图像修复和三维修复。目前色彩图像修复和深度图像修复是计算机视觉领域的一个热点研究方向，但是单独的色彩图像的修复或者深度图像修复都不能准确的进行高精度地图三维构建。如果想高精度地进行地图构建，则需要对其进行三维修复。三维修复根据其修复内容的不同可以分为直接对三维点云修复、色彩图像和深度图像(视差图或伪彩色视差图)的协同修复。三维点云可以直接地对空间进行表达，但是三维点云被定义在不规则的非欧几里德域上，具有无序性和旋转性等特点，因此很难实现三维点云的高精度修复。另一种三维修复的方法为色彩图像和深度图像的协同修复。该修复方法认为动态障碍物即存在于色彩图像，也存在于深度图像，在进行三维修复的时候需要同时修复色彩图像和深度图像。目前色彩图像和深度图像的协同修复的方面的研究较少，且由于色彩图像和深度图像的数据差异，均采用传统方法进行色彩图像和深度图像的修复。但是，传统方法在处理色彩图像和深度图像时，很难处理无纹理或弱纹理的图像。卷积神经网络可以很好地提取图像特征，但是目前并没有基于深度学习的色彩图像和深度图像(视差图或伪彩色视差图)的协同修复的研究。

发明内容

本发明为克服上述现有技术中的缺陷，提供一种基于GAN的三维地图修复方法，实施过程简单方便。

为解决上述技术问题，本发明采用的技术方案是：一种基于GAN的三维地图修复方法，首先，对输入的原始待修复色彩图像和其对应的待修复伪色彩视差图进行缩放和归一化处理，使其大小为H*W，图像输出值为(-1,1)；其次，把待修复色彩图像和待修复伪色彩视差图输入到生成模型；再次，生成模型完成对待修复色彩图像和待修复伪色彩视差图的修复，得到修复后的色彩图像和修复后的伪彩色视差图。

进一步的，待修复色彩图像和待修复伪色彩视差图同时传入生成模型，生成模型同时对其进行修复。

进一步的，还包括判别模型，所述的判别模型用于判别生成模型的好坏，若判别结果显示生成模型的输出结果不好则继续训练生成模型。

进一步的，所述的生成模型包括特征共享模块、色彩图像特征模块以及伪色彩视差图像特征模块；所述的特征共享模块包括4个神经网络层，其第一层为输入层，其它层均为卷积层；第一层的数据维度为H*W*6，第二层和第三层的数据维度为(H/2)*(W/2)*256，第四层数据维度为(H/4)*(W/4)*512；色彩图像特征模块和伪彩色视差图特征模块均包括4个卷积层，其第一层的数据维度为(H/4)*(W/4)*512，第二层和第三层数据维度为(H/2)*(W/2)*256，第四层数据维度为H*W*3。

进一步的，所述的判别模型包括特征共享模块、色彩图像特征模块和伪彩色视差图特征模块；所述的特征共享模块包括3个神经网络层，其第一层为输入层，其它层均为卷积层；第一层的数据维度为H*W*6，第二层数据维度为(H/2)*(W/2)*256，第三层数据维度为(H/4)*(W/4)*512；色彩图像特征模块和伪彩色视差图特征模块均包括3个卷积层，其第一层和第二层的数据维度为(H/4)*(W/4)*512，第三层数据维度为1*1。

在本发明中，生成模型和判别模型的激活函数为ReLU，数据处理批量为64，卷积核大小为3*3，步长为2，优化函数为Adam。