[发明专利]生成车辆外观部件识别样本的方法、装置、介质及服务器

说明书

本发明实施例涉及智能保险领域，公开了一种生成车辆外观部件识别样本的方法、装置、介质及服务器。该方法包括：获取待处理车辆的三维模型信息；根据三维模型信息获取车辆部件的ID贴图；设置渲染数据，渲染数据包括观测相机的内外参数、光源参数和背景图像；根据渲染数据及车辆部件的ID贴图将车辆三维模型渲染为二维车辆图像，并得到车辆图像上的车辆部件掩膜；用CycleGAN网络训练车辆图像风格转换器，在保持部件掩膜位置的同时将渲染的车辆图像进一步风格迁移为真实风格车辆图像。本发明的实施自动生成具有准确掩膜级部件标注的车辆图片样本，可以显著节省车辆部件识别任务的人工标注成本。

技术领域

本发明实施例涉及智能保险领域，特别涉及一种生成车辆外观部件识别样本的方法、装置、介质及服务器。

背景技术

基于图像识别的车辆定损已开始应用于车辆保险领域，通常使用深度神经网络（DNN）模型对拍摄的车辆外观损伤图像按部件进行分割，并对图像上各类车辆损伤区域进行检测或分割，然后将部件分割结果和损伤检测或分割的结果按图像位置进行融合，最终输出图像中每个车辆部件的损伤判定结果。

为了实现对车辆部件的分割，现有的常见分割网络如MaskRCNN的训练需要大量具有像素级标注的图片样本，标注人员需对图片中出现的所有车辆部件沿轮廓进行多边形标注，与只需要做简单外接矩形框标注的检测任务相比，前者所需的标注工作量超过后者的几倍。为了覆盖多达五十几种的车辆外观件，以及各种不同的车系车型，训练一个可用的车辆部件分割模型所需的图像样本往往要达到几十万张的量级，其标注成本巨大，单靠人工难以实现。

发明内容

本发明实施方式的目的在于提供一种生成车辆外观部件识别样本的方法、装置、介质及服务器，本发明中自动生成的车辆图片样本带有准确的掩膜级部件标注，可以显著节省车辆部件识别任务的人工标注成本。

人工智能领域的实践已经证明，模拟应用场景生成的样本对于深度神经网络的训练同样是有效的。车辆为刚性物体，同一车型的车辆其各部件在三维空间中的相对位置关系固定。这意味着该车型的众多车辆图片尽管颜色，拍摄设备、拍摄角度和距离、光照条件都有区别，但图片中车辆各部件的位置分布受到三维空间到二维图像平面的内在关系约束。

基于此，本发明的实施方式提供了以下解决方案：

一方面，一种生成车辆外观部件识别样本的方法，包括：

获取待处理车辆的三维模型信息；

根据三维模型信息获取每个车辆部件的ID贴图；

设置渲染数据，渲染数据包括观测相机的内外参数、光源参数和背景图像；

根据所述渲染数据和每个车辆部件的ID贴图对车辆三维模型渲染生成二维车辆图像，并得到所述二维车辆图像上的车辆部件掩膜位置；

用CycleGAN网络训练车辆图像风格转换器，所述车辆图像风格转换器在保持部件掩膜位置的同时将渲染的车辆图像进一步风格迁移为真实风格车辆图像，所述真实风格车辆图像和对应的车辆部件掩膜作为车辆外观部件识别任务的样本。

进一步可选的，所述三维模型信息包括顶点坐标、顶点法向量、顶点对应的纹理坐标、模型面片的顶点索引，以及用于反映车辆部件的颜色、材质、反射率的纹理贴图，根据三维模型信息获取每个车辆部件的ID贴图包括：

将材质纹理贴图按部件拆分生成一张反映车辆部件ID的贴图；

纹理贴图上每个像素的取值为该像素所属车辆部件ID的值。

进一步可选的，根据所述渲染数据和车辆部件的ID贴图将车辆三维模型渲染为二维车辆图像，并得到车辆图像上的车辆部件掩膜包括：

根据相机内外参数确定模型坐标系到屏幕坐标系的坐标变换矩阵；