[发明专利]车辆去光照三维重建方法、装置、电子设备和存储介质

权利要求书

1.一种车辆去光照三维重建方法，其特征在于，包括：

获取带纹理车辆三维模型数据库，其中，所述带纹理车辆三维模型数据库包括带纹理的车辆三维模型；

对所述车辆三维模型在不同视角和不同光照条件下进行渲染，得到作为生成式对抗神经网络训练时的原始数据；其中，所述原始数据包括原始图片和所述原始图片对应的相机内外参数；

基于Pytorch深度学习平台搭建所述生成式对抗神经网络，并根据所述原始数据对所述生成式对抗神经网络进行训练，直至网络中的权重值收敛；

基于目标相机参数的彩色相机采集道路上车辆的RGB图片，并将采集到的所述RGB图片作为经过训练的所述生成式对抗神经网络的输入部分，从多角度渲染获取重建场景的密度分布，选取密度值满足预设条件的点作为重建点云；

基于所述重建点云去除点云噪点后，采用泊松重建算法得到所述车辆的表面网格模型，并对所述表面网格模型进行简化，获得包含去光照彩色纹理和材质信息的车辆三维模型。

2.根据权利要求1所述的方法，其特征在于，所述获取带纹理车辆三维模型数据库，包括：

通过三维建模，获取不同类型车辆三维模型数据库；

通过对所述车辆三维模型数据库中的车辆三维模型的不同部件进行随机纹理赋值，获得带纹理车辆三维模型数据库。

3.根据权利要求1所述的方法，其特征在于，所述根据所述原始数据对所述生成式对抗神经网络进行训练，直至网络中的权重值收敛，包括：

逐像素点发射射线，沿所述射线采样三维点，并通过傅里叶编码将所述三维点转换为高维向量，将所述高维向量和由所述原始图片编码得到的隐向量级联后输入所述生成式对抗神经网络之中的MLP网络，生成高维特征向量，并分别从所述高维特征向量中分离出所述三维点的密度、本征颜色和BRDF参数；

利用沿射线逐点的密度、本征颜色、BRDF参数、以及根据相邻点密度梯度计算得到的法向，积分得到所述射线与几何表面交点处的法向、本征颜色及BRDF参数；

基于Cook-Torrance的解析BRDF局部反射模型，将表面参数结合由所述原始图片提取的光照，计算表面点反射光强，作为成像图片中的像素值；

将所述生成式对抗神经网络的输出结果的彩色图片与真实渲染得到的彩色图片输入至监督网络，并约束所述监督网络逐卷积层提取的特征图趋近；

利用构建的所述原始数据和目标能量函数对所述生成式对抗神经网络中的生成器和鉴别器的参数权重进行迭代回归优化，直至权重值收敛。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述对所述表面网格模型进行简化，包括：

采用三维动画制作软件Blender对所述表面网格模型进行简化。

5.一种车辆去光照三维重建装置，其特征在于，包括：

第一获取模块，用于获取带纹理车辆三维模型数据库，其中，所述带纹理车辆三维模型数据库包括带纹理的车辆三维模型；

第二获取模块，用于对所述车辆三维模型在不同视角和不同光照条件下进行渲染，得到作为生成式对抗神经网络训练时的原始数据；其中，所述原始数据包括原始图片和所述原始图片对应的相机内外参数；

训练模块，用于基于Pytorch深度学习平台搭建所述生成式对抗神经网络，并根据所述原始数据对所述生成式对抗神经网络进行训练，直至网络中的权重值收敛；

预测模块，用于基于目标相机参数的彩色相机采集道路上车辆的RGB图片，并将采集到的所述RGB图片作为经过训练的所述生成式对抗神经网络的输入部分，从多角度渲染获取重建场景的密度分布，选取密度值满足预设条件的点作为重建点云；

重建模块，用于基于所述重建点云去除点云噪点后，采用泊松重建算法得到所述车辆的表面网格模型，并对所述表面网格模型进行简化，获得包含去光照彩色纹理和材质信息的车辆三维模型。

6.根据权利要求5所述的装置，其特征在于，所述第一获取模块具体用于：

通过三维建模，获取不同类型车辆三维模型数据库；

通过对所述车辆三维模型数据库中的车辆三维模型的不同部件进行随机纹理赋值，获得带纹理车辆三维模型数据库。