[发明专利]生成车辆外观部件识别样本的方法、装置、介质及服务器

权利要求书

1.一种生成车辆外观部件识别样本的方法，其特征在于，包括：

获取待处理车辆的三维模型信息；

根据所述三维模型信息获取车辆部件的ID贴图；

设置渲染数据，所述渲染数据包括观测相机的内外参数、光源参数和背景图像；

根据所述渲染数据和所述车辆部件的ID贴图将车辆三维模型渲染为二维车辆图像，并得到车辆图像上的车辆部件掩膜位置；

用CycleGAN网络训练车辆图像风格转换器，所述车辆图像风格转换器在保持部件掩膜位置的同时将渲染的车辆图像进一步风格迁移为真实风格车辆图像，所述真实风格车辆图像和对应的车辆部件掩膜作为车辆外观部件识别任务的标注样本；

所述根据所述渲染数据和所述车辆部件ID贴图将车辆三维模型渲染为二维车辆图像，并得到车辆图像上的车辆部件掩膜位置包括：

根据所述观测相机的内外参数确定模型坐标系到屏幕坐标系的坐标变换矩阵；

根据所述观测相机的内外参数、光源参数、背景图像，以及车辆3D模型中颜色、材质、反射率信息，使用真实感渲染3D引擎将车辆三维模型渲染为二维图片；

根据所述车辆的三维模型、坐标变换矩阵以及车辆部件的ID贴图，得到二维车辆图像中的车辆部件掩膜位置；

所述用CycleGAN网络训练车辆图像风格转换器，包括：

收集渲染车辆图像和真实车辆图像样本，训练CycleGAN网络，获得从渲染风格车辆图像到真实风格车辆图像的车辆图像风格转换器；

将所述渲染二维车辆图像输入所述车辆图像风格转换器，转换器输出真实风格车辆图像，将输出的真实风格车辆图像和对应的车辆部件掩膜作为车辆外观部件识别任务的标注样本；

所述训练CycleGAN网络，获得从渲染风格车辆图像到真实风格车辆图像的车辆图像风格转换器包括：

准备训练样本，CycleGAN网络的X域采用由不同车型三维模型渲染生成的车辆图像，CycleGAN网络的Y域采用收集的真实车辆图像；

构建CycleGAN网络，所述CycleGAN网络包括第一图像生成器、第二图像生成器、第一判别器、第二判别器，所述第一图像生成器由X域渲染车辆图像生成伪真实车辆图像，所述第二图像生成器由Y域真实图像生成伪渲染车辆图像，所述第一判别器用于区分真正的X域渲染车俩图像和生成的伪渲染车俩图像，所述第二判别器用于区分Y域真实车俩图像和生成的伪真实车俩图像；

构建CycleGAN网络的损失函数；

采用Adam优化器交替更新CycleGAN网络第一、第二图像生成器和第一、第二判别器的参数使得网络损失函数值下降，网络达到纳什平衡状态即判别器无法区分真假图像时的第一图像生成器作为所述车辆图像风格转换器。

2.根据权利要求1所述的生成车辆外观部件识别样本的方法，其特征在于，所述三维模型信息包括：顶点坐标、顶点法向量、顶点对应的纹理坐标、模型面片的顶点索引，还包括用于反映车辆部件的颜色、材质、反射率在内的纹理贴图，所述根据所述三维模型信息获取车辆部件的ID贴图包括：

将材质纹理贴图按部件拆分生成一张反映车辆部件ID的贴图；

纹理贴图上每个像素的取值为该像素所属车辆部件ID的值。