[发明专利]基于生成对抗网络的车牌图像生成方法及系统

说明书

本发明提供一种基于生成对抗网络的车牌图像生成方法及系统，方法包括：获取目标文本图和测试车牌原图；将所述测试车牌原图和所述目标文本图输入至文本替换模型中，得到所述文本替换模型输出的车牌预测图；其中，所述文本替换模型是基于所述训练车牌原图进行文本擦除得到的背景训练图形成的伪车牌图以及所述训练车牌原图训练得到的；所述文本替换模型用于将预先获取的目标文本图的文本内容替换至所述测试车牌原图，得到车牌预测图。本发明实现了生成车牌预测图的同时，确保保留测试车牌原图的车牌背景和文字风格等特征。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于生成对抗网络的车牌图像生成方法及系统。

背景技术

随着国内机动车的数量不断增多，各种交通管理问题也接连浮现。为了满足交通道路监控、停车场自动管理、车辆跟踪、高速公路自动收费管理等机器自动管理的应用需求，需要对车牌进行自动检测和识别。在深度学习的浪潮推动下，基于深度学习的车牌的检测与识别系统成为了热点问题，然而深度神经网络的训练需要大量的数据，其采集和标注工作的人力成本很高，且很多数据质量较差，容易导致训练数据的数据量不足或图像质量太差不符合应用标准等，是车牌检测识别系统一个很大的限制因素。

由于车牌是一种带有文字的真实场景图像，具有固定的格式，因此，目前采用以下方式实现车牌的文本替换，以扩充深度神经网络的训练数据量，包括：图像到图像转换的网络框架方法、全卷积回归网络(FCRN)方法以及风格保留网络(SRNet)方法。其中，图像到图像转换的网络框架方法可以对边缘图进行着色，并从分割图生成相应的真实场景图，如果给定车牌的掩码作为输入，该网络就会输出和车牌掩码上的文本内容相同的车牌图像；FCNR方法以两种样式但文本不同的方式合成数据，该技术的主要思想是随机选择字体、颜色、变形参数来生成样式文本，然后渲染到背景图像上；SRNet方法在场景文本编辑方面表现出了较好的性能，可以在保持原图背景纹理的同时改变文本内容。

然而，图像到图像转换的网络框架方法生成车牌图像的图像质量较差，且该方法需要配对的数据作为训练集，然而现实世界中很多图像并没有对应配对的图像；FCNR方法合成出的文本图像与真实场景的图像存在较大差距；SRNet方法只能使用自然场景图像数据集(SynthText)合成的数据进行训练，且多是针对英文进行训练，另外，其对于原图中的字体形态等保持较差，在英语以外其他国家的车牌图像生成任务上的泛化能力差。

发明内容

本发明提供一种基于生成对抗网络的车牌图像生成方法及系统，用以解决现有技术中生成的车牌图像质量较差且目标文本不可控的缺陷，实现生成图像质量清晰、风格逼真的车牌图像。

本发明提供了一种基于生成对抗网络的车牌图像生成方法，包括：获取目标文本图和测试车牌原图；将所述测试车牌原图和所述目标文本图输入至文本替换模型中，得到所述文本替换模型输出的车牌预测图；其中，所述文本替换模型是基于所述训练车牌原图进行文本擦除得到的背景训练图形成的伪车牌图以及所述训练车牌原图训练得到的；所述文本替换模型用于将预先获取的目标文本图的文本内容替换至所述测试车牌原图，得到车牌预测图。

根据本发明提供的一种基于生成对抗网络的车牌图像生成方法，所述文本替换模型，包括：文本转换层，基于所述测试车牌原图将所述目标文本图的前景风格转换为所述测试车牌原图的前景风格，得到目标文本前景图；背景修复层，对所述测试车牌原图进行文本擦除和纹理填充，形成车牌背景图；文本融合层，将所述目标文本前景图和所述车牌背景图进行文本融合，得到车牌预测图。

根据本发明提供的一种基于生成对抗网络的车牌图像生成方法，训练所述文本替换模型，包括：对训练车牌原图进行文本擦除，得到背景图；基于预先获取的前景文本图和所述背景图合成，得到伪车牌图；将所述目标文本图、预先获取的车牌背景图、预先获取的文本骨架图、所述前景文本图和所述伪车牌图输入至所述文本替换模型中，得到所述文本替换模型输出的车牌训练图；基于所述前景图、所述背景图、所述车牌训练图、所述文本骨架图、所述目标文本图和所述伪车牌图构建损失函数，并基于所述损失函数收敛以结束训练。