[发明专利]模型生成方法、图像透视图确定方法、装置、设备及介质

说明书

本发明实施例公开了一种模型生成方法、图像透视图确定方法、装置、设备及介质。该模型生成方法包括：基于预设采集系统采集点云数据和图像透视图，得到点云数据的坐标数据，以及各图像透视图的图像采集时间点；确定与各图像采集时间点分别对应的位姿矩阵，根据位姿矩阵和坐标数据生成各图像采集时间点下的点云透视图；将每个图像采集时间点下的点云透视图和图像透视图作为一组训练样本，基于多组训练样本对原始神经网络模型进行训练，生成用于将点云透视图转换为图像透视图的图像转换模型。本发明实施例的技术方案，可以基于点云数据投影出的点云透视图引导合成图像透视图，解决了图像透视图的获取过程较为耗时耗力的问题。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种模型生成方法、图像透视图确定方法、装置、设备及介质。

背景技术

随着虚拟仿真、高精地图制作、机器人、自动驾驶等行业的推进和发展，点云建图的应用越来越广泛。点云建图是基于激光雷达设备采集每个时刻的待建图场景下的点云数据，并基于测绘方式或者同时定位和地图构建(simultaneous localization andmapping，SLAM)方式获取每个时刻的点云数据的三维坐标，进而根据该三维坐标将各点云数据进行投影和拼合。

单纯的点云建图仅能获取到各点云数据的三维坐标，信息比较单一。为解决这一问题，在点云建图过程中通过搭建摄像头可以同步采集数据以生成相应时刻的图像透视图，从而利用多数据源融合开展更多应用。例如，在仿真重建中通过对激光雷达设备和摄像头进行时空标定以获取彩色点云数据，在制图过程中利用图像透视图辅助观看真实场景，在智能感知中借助图像透视图来提高车道、行人等动态物体的识别。

在实现本发明的过程中，发明人发现现有技术中存在以下技术问题：上述图像透视图的获取过程较为耗时耗力，首先，其需要搭建复杂的激光雷达设备和摄像头同步系统，并对二者进行时空标定，这一时空标定过程往往比较繁琐；其次，为了获取高质量且全方位的图像透视图，所采用的摄像头往往价格不菲，如一个360度的全景Ladybug3的费用高达二十多万；再者，经由摄像头采集到的图像透视图的质量容易受到天气、光照、阴影等环境因素影响，如在暗光环境下采集到的图像透视图的图像亮度偏低，车速过快容易出现抖动模糊。

发明内容

本发明实施例提供了一种模型生成方法、图像透视图确定方法、装置、设备及介质，解决了图像透视图的获取过程较为耗时耗力的问题。

第一方面，本发明实施例提供了一种模型生成方法，可以包括：

基于预设采集系统采集点云数据和图像透视图，得到点云数据的坐标数据，以及各图像透视图的图像采集时间点；

确定与各图像采集时间点分别对应的位姿矩阵，根据位姿矩阵和坐标数据生成各图像采集时间点下的点云透视图；

将每个图像采集时间点下的点云透视图和图像透视图作为一组训练样本，基于多组训练样本对原始神经网络模型进行训练，生成用于将点云透视图转换为图像透视图的图像转换模型。

可选的，确定与各图像采集时间点分别对应的位姿矩阵，可以包括：

根据点云数据得到预设采集系统的位姿轨迹；

基于各图像采集时间点对位姿轨迹进行采样，得到与各图像采集时间点分别对应的位姿矩阵。

可选的，根据位姿矩阵和坐标数据生成各图像采集时间点下的点云透视图，可以包括：

若图像透视图是基于预设采集系统中的预设相机采集得到，预设相机包括透视相机或是广角相机，则根据如下公式将点云数据在世界坐标系下的三维坐标数据P_{W_3d}投影到在图像采集时间点t_C采集到的预设相机坐标系下的二维坐标数据P_{C_2d}(t_C)，并根据各P_{C_2d}(t_C)生成t_C下的点云透视图：