[发明专利]基于隐式模板映射的单视图车辆重建方法和装置

说明书

本申请提出一种基于隐式模板映射的单视图车辆重建方法和装置，涉及计算机视觉中的三维重建技术领域，方法包括：对获取三维车辆模型数据库中每个原始三维车辆模型进行随机纹理赋值获取三维带纹理车辆模型；对三维带纹理车辆模型进行渲染获取原始图片数据集，对每个原始三维车辆模型提取符号距离场；将原始图片数据集和符号距离场输入网络模型进行训练获取输出彩色图片，对输出彩色图片和原始渲染彩色图片进行计算调整网络模型的网络参数，获取已训练的网络模型；获取待处理车辆彩色图片输入已训练的网络模型获取车辆网格模型。由此，只需要使用渲染得到的虚拟数据库，基于隐式模板映射的生成式对抗网络在预测车辆几何结构的同时获得纹理特征。

技术领域

本申请涉及计算机视觉中的三维重建技术领域，尤其涉及一种基于隐式模板映射的单视图车辆重建方法和装置。

背景技术

随着计算机视觉领域中的三维重建技术和自动驾驶技术的不断发展，对于道路场景中机动车辆的三维重建成为了计算机室领域中的一个研究热点。利用已知参数的相机采集单视图彩色图片，进而预测车辆的形状和外表目前正成为研究工作中的重要方向。

目前流行的基于单图像的车辆重建方法主要分为重建参数化车辆模型以及重建非参数化表示的车辆模型。常用的参数化模型是通过对多个已建模车辆的三维模型进行特征提取，获得用于描述车辆形状的有限参数。针对单图片重建问题，先从图片估计车辆朝向，再通过重投影误差来实现优化得到参数，进而得到车辆模型。重建非参数化表示的车辆模型，近期受到关注的方法是通过符号距离场(Signed Distance Field)来训练一个MLP网络表示隐式函数来表示物体三维模型。

尽管基于单图片重建三维车辆模型技术已经有了很大的发展，但目前重建带纹理特征三维车辆模型的工作仍比较少，现有的工作在基于隐式函数表示三维几何的基础上，利用类似的隐式函数方法预测车辆纹理，但由于车辆几何形状的多样性，几何与纹理信息未能显式分离，导致结果对车辆表面纹理细节的表现能力有限。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种基于隐式模板映射的单视图车辆重建方法，对于精细的车辆三维模型数据库，利用高真实感渲染的方法得到的逼真的彩色数据及对应的深度数据，对车辆模型提取符号距离场(Signed Distance Field)。通过搭建基于隐式模板映射的生成式对抗神经网络，实现将三维颜色分布约束到二维表面颜色分布，从而在已知相机参数的彩色相机采集道路上车辆的RGB图片作为输入，网络即可输出包含纹理特征的车辆网格模型。

本申请的第二个目的在于提出一种基于隐式模板映射的单视图车辆重建装置。

为达上述目的，本申请第一方面实施例提出了一种基于隐式模板映射的单视图车辆重建方法，包括：

获取不同类型车辆的三维车辆模型数据库，对所述三维车辆模型数据库中每个原始三维车辆模型的不同部件进行随机纹理赋值，获取三维带纹理车辆模型；

对所述三维带纹理车辆模型在多个不同场景下进行渲染，获取原始图片数据集，并对所述每个原始三维车辆模型进行处理，提取符号距离场；

将所述原始图片数据集和所述符号距离场输入网络模型进行训练，获取输出彩色图片，并通过能量函数对所述输出彩色图片和原始渲染彩色图片进行计算，调整所述网络模型的网络参数，获取已训练的网络模型；

获取待处理车辆彩色图片输入所述已训练的网络模型，获取车辆网格模型。