[发明专利]一种基于生成复杂环境下车牌样本的车辆车牌识别方法

说明书

本发明提出了一种基于生成复杂环境下车牌样本的车辆车牌识别方法,包括模拟生成复杂环境的车牌样本和训练端对端的车牌识别模型两个步骤。本发明可有效避免因车牌采集造成的人力、物力、时间等成本，人力物力成本几乎为零，且产生的样本包含更多的复杂环境因素信息；训练出来的深度学习模型能够适应更加复杂的环境，具有原有模型无法比拟的泛化性和适应性，尤其是在复杂环境下低质量的车牌图片识别中具有压倒性优势；图片中字符模糊甚至字符粘连无法分割的车牌都能正确识别，并且对于前期车牌定位错误的情况该方案也能有补救，进而识别出正确的车牌号。

技术领域

本发明涉及深度学习的车辆车牌识别技术领域，具体涉及一种基于生成复杂环境下车牌样本的车辆车牌识别方法。

背景技术

目前的车牌识别技术的总体解决方案基本上都是通过车牌图片样本训练车牌识别模型，然后在后续的应用中利用训练好的车牌模型进行识别。因此，获取车牌图片样本及车牌模型是最重要的两大部分。

获取车牌样本会采集真实的车牌图片样本。一般来说，原始车牌图片样本数量越大，训练出来的模型精度越高，泛化能力越好。但是，采集大量车牌往往需要花费大量的人力，财力等。所以为了增加车牌图片的样本数量，需要利用已有的真实车牌图片产生更多的模拟车牌。目前产生模拟车牌最常用的方式大致上分为两种：数据增强(例如，在原有车牌上加入小的噪声或者舍去图片中的一小部分等方式)和gan(生成对抗神经网络)。

车牌模型一般是先把车牌图片进行字符分割，然后选择对分割出来的字符图片进行特征提取(例如hog特征)，然后训练svm，浅层神经网络等模型用来识别每个字符图片中的字符。近来随着深度学习的发展，产生了端对端的车牌识别模型，即直接利用车牌样本，不需要字符分割的步骤，直接训练模型，利用车牌的整幅图片，自动提取特征，直接预测车牌图片中的所有车牌字符。

虽然现有车牌识别技术在小区卡口，道路卡口等应用场景中已经得到了很好的应用。但是仍然具有一些其他方面的缺点，具体如下：

1)、现有图片获取的方式：现有图片获取的方式主要依靠从道路，街道等现场的视频、图片中采集。即便是通过图片数据增强或者gan来生成更多的图片样本，也是要基于现场采集大量的真实车牌图片的基础上才可以完成。这样的方式不仅在现场采集中需要花费大量的时间，人力，物力成本，而且在车牌标注时，也需要大量的人力。此外，若是视频或图片的质量不好以至于人眼都无法识别车牌中的具体号码，难免会造成了车牌无法标准或标准错误。

2)、获取的图片的样本质量：①由于地理区域和车牌多样性的影响，很容易造成所获取的车牌样本集合出现样本不均衡问题，也就是有些区域的车牌数量特别多，有些区域的车牌数量特别少甚至是没有；②由于车辆所处的环境异常复杂，例如不同的光照条件、车速、拍摄距离和角度、摄像装备质量等原因会造成同一个车牌可能具有不同的图片效果，而现有技术采集的车牌图片样本的取自很少的环境且不同环境下的车牌样本数量也不均衡(有的环境采集的车牌数量多，有的少)；③正如上述缺点1)中所述，由于车牌的图片质量不好导致了的人眼无法辨认图片中的具体字符进而造成了车牌无法标准或标准错误，使得图片质量不好的车牌样本数量较少；④车牌周边的环境(例如车牌所在的车身环境，车牌定位的误差)往往在现有技术下的车牌样本中是固定的，这使得后续的车牌识别模型对于因车牌周边环境变化或者定位不够准确的情况训练不足，导致模型的泛化能力弱。