[发明专利]车辆去光照三维重建方法、装置、电子设备和存储介质

说明书

本申请提出一种车辆去光照三维重建方法和装置。其中方法包括：获取带纹理车辆三维模型，对车辆三维模型在不同视角和不同光照条件下进行渲染，得到原始数据；其中，原始数据包括原始图片和原始图片对应的相机内外参数；搭建生成式对抗神经网络，并根据原始数据对生成式对抗神经网络进行训练；基于目标相机参数的彩色相机采集道路上车辆的RGB图片，并将采集到的RGB图片作为经过训练的生成式对抗神经网络的输入部分，从多角度渲染获取重建场景的密度分布，选取密度值满足预设条件的点作为重建点云；去除点云噪点后采用泊松重建算法得到车辆的表面网格模型，并对表面网格模型进行简化，获得包含去光照彩色纹理和材质信息的车辆三维模型。

技术领域

本申请涉及基于隐式神经辐射场表示的单视图车辆去光照三维重建方法，属于计算机视觉中的三维重建领域。

背景技术

随着计算机视觉领域中的三维重建技术和自动驾驶技术的不断发展，对于道路场景中机动车辆的三维重建成为了计算机领域中的一个研究热点。利用已知参数的相机采集单视图彩色图片，进而预测车辆的形状和外表目标正成为研究工作中的重要方向。

目前流行的基于单图像的车辆重建方法主要分为重建参数化车辆模型以及重建非参数化表示的车辆模型。常用的参数化模型是通过对多个已建模车辆的三维模型进行特征提取，获得用于描述车辆形状的有限参数。针对单图片重建问题，先从图片估计车辆朝向，再通过重投影误差来实现优化得到参数，进而得到车辆模型。重建非参数化表示的车辆模型，近期受到关注的方法是训练一个MLP(Multilayer perceptron，多层感知器)网络表示隐式辐射函数来表示场景物体三维信息。

尽管基于单图片重建三维车辆模型技术已经有了很大的发展，但目前重建带纹理特征三维车辆模型的工作仍比较少，现有的工作在基于隐式函神经辐射场表示三维信息的基础上，利用类似的隐式函数方法实现自由视角的图片合成。但是，由于车辆几何形状的多样化，以及真实场景中复杂光照影响较大，导致结果对车辆表面纹理的表现能力有限。

发明内容

本申请的目的旨在至少在一定程度上解决上述的技术问题之一。

为此，本申请的第一个目的在于提出一种车辆去光照三维重建方法，对于精细的车辆三维模型数据库，利用高真实感渲染的方法得到的不同视角不同光照条件下逼真的彩色数据，构建训练数据库。通过搭建基于隐式神经辐射场的生成式对抗神经网络，实现对光照因素的分离。已知相机参数的彩色相机采集道路上车辆的RGB图片作为输入，网络即可输出包含表面逐点本征颜色、表面法向以及BRDF参数的车辆网格模型。

本申请的第二个目的在于提出一种车辆去光照三维重建装置。

本申请的第三个目的在于提出一种电子设备。

本申请的第四个目的在于提出一种计算机可读存储介质。

为达上述目的，本申请第一方面实施例提出了一种车辆去光照三维重建方法，包括：

获取带纹理车辆三维模型数据库，其中，所述带纹理车辆三维模型数据库包括带纹理的车辆三维模型；

对所述车辆三维模型在不同视角和不同光照条件下进行渲染，得到作为生成式对抗神经网络训练时的原始数据；其中，所述原始数据包括原始图片和所述原始图片对应的相机内外参数；

基于Pytorch深度学习平台搭建所述生成式对抗神经网络，并根据所述原始数据对所述生成式对抗神经网络进行训练，直至网络中的权重值收敛；

基于目标相机参数的彩色相机采集道路上车辆的RGB图片，并将采集到的所述RGB图片作为经过训练的所述生成式对抗神经网络的输入部分，从多角度渲染获取重建场景的密度分布，选取密度值满足预设条件的点作为重建点云；

基于所述重建点云去除点云噪点后，采用泊松重建算法得到所述车辆的表面网格模型，并对所述表面网格模型进行简化，获得包含去光照彩色纹理和材质信息的车辆三维模型。