[发明专利]模型生成方法、图像透视图确定方法、装置、设备及介质

权利要求书

1.一种模型生成方法，其特征在于，包括：

基于预设采集系统采集点云数据和图像透视图，得到所述点云数据的坐标数据，以及各所述图像透视图的图像采集时间点；

确定与各所述图像采集时间点分别对应的位姿矩阵，根据所述位姿矩阵和所述坐标数据生成各所述图像采集时间点下的点云透视图；

将每个所述图像采集时间点下的所述点云透视图和所述图像透视图作为一组训练样本，基于多组所述训练样本对原始神经网络模型进行训练，生成用于将所述点云透视图转换为所述图像透视图的图像转换模型。

2.根据权利要求1所述的方法，其特征在于，所述确定与各所述图像采集时间点分别对应的位姿矩阵，包括：

根据所述点云数据得到所述预设采集系统的位姿轨迹；

基于各所述图像采集时间点对所述位姿轨迹进行采样，得到与各所述图像采集时间点分别对应的位姿矩阵。

3.根据权利要求1所述的方法，其特征在于，所述根据所述位姿矩阵和所述坐标数据生成各所述图像采集时间点下的点云透视图，包括：

若所述图像透视图是基于所述预设采集系统中的预设相机采集得到，所述预设相机包括透视相机或是广角相机，则根据如下公式将所述点云数据在世界坐标系下的三维坐标数据P_{W_3d}投影到在所述图像采集时间点t_C采集到的预设相机坐标系下的二维坐标数据P_{C_2d}(t_C)，并根据各P_{C_2d}(t_C)生成t_C下的点云透视图：

P_{C_2d}(t_C)＝K_cM_W→L(t_C)P_{W_3d}

其中，M_W→L(t_C)是所述预设采集系统中的点云采集设备在t_C时的所述世界坐标系下的所述位姿矩阵，K_c是所述预设相机的内参矩阵；

若所述图像透视图是基于所述预设采集系统中的球面全景相机，则根据如下公式将所述点云数据的P_{W_3d}投影到在t_C采集到的球面全景相机坐标系下的P_{C_2d}(t_C)，并根据各P_{C_2d}(t_C)生成t_C下的点云透视图：

P_3d＝M_W→L(t_C)P_{W_3d}，P_3d＝[x_3d,y_3d,z_3d]

其中，R是所述球面全景相机的球体半径。

4.根据权利要求1所述的方法，其特征在于，还包括：

获取所述点云透视图中与所述点云数据对应的像素点，将所述点云数据的属性信息赋值给所述像素点。

5.根据权利要求1所述的方法，其特征在于，所述将每个所述图像采集时间点下的所述点云透视图和所述图像透视图作为一组训练样本，包括：

将各所述图像采集时间点中的当前图像采集时间点下的所述点云透视图作为第一点云透视图，以及所述图像透视图作为第一图像透视图；

将在所述当前图像采集时间点之前的至少一个图像采集时间点下的所述点云透视图作为第二点云透视图，且所述图像透视图作为第二图像透视图；

将所述第一点云透视图、所述第二点云透视图、所述第一图像透视图和所述第二图像透视图作为一组训练样本，其中，所述第一点云透视图、所述第二点云透视图和所述第二图像透视图是实际输入数据，所述第一图像透视图是期望输出数据。