[发明专利]一种端到端的车牌识别方法

说明书

本发明公开了一种端到端的车牌识别方法，首先根据车牌定位的结果，切割车牌区域作为输入，然后采用一种设计的三层全卷积神经网络预测车牌字符热力图，根据热力图得到候选字符区域，其次采用一种设计的七层深度卷积神经网络模型来对候选字符区域进行分类与位置校正，得到字符序列及其位置序列，最后采用一种基于模板的最优路径算法，挑选出符合中国大陆车牌规范的字符序列，即为识别结果。整个网络采用多任务联合训练的方式，输入为车牌彩色图像，输出即为车牌号码，该方法避免了传统车牌识别方法，需要对车牌进行精确切分的弊端，能有效地提高复杂场景下的车牌识别率。

技术领域

本发明涉及车牌识别技术领域，具体为一种端到端的车牌识别方法。

背景技术

随着计算机技术和信息处理技术的发展，计算机的信息处理能力不断提高，计算机视觉技术在基于多媒体和模式识别与人工智能技术的智能交通及电子警察系统在世界范围内得到了广泛的应用。这些应用中，有96％的自动化系统使用了车牌自动识别技术，75％以上的系统是以车牌识别为核心的应用。

传统的车牌识别方法，通常包括车牌检测、车牌校正、车牌切分和字符识别等流程，对于车牌像素大于120个像素，且车牌无污损、车牌偏角小于30度情、车牌无逆光情况下，车牌识别率大于95％，但对于小车牌(小于100个像素)且车牌逆光或污损或偏角过大时，车牌识别率往往急剧下降，主要原因在于传统的基于联通域、水平投影或垂直投影等车牌切分方法，无法有效地处理这种脏污或大偏角车牌，因为这种情况下，车牌字符和背景往往相互融合，想要精确地进行切分非常困难，而切分的精度往往影响字符识别的精度。

由于深度学习技术的飞速发展，深度学习在众多领域均取得突破，如目标分类、目标检测、语义分割等，由于深度学习是从海量数据中自动学习到有用的特征，而不需要过多的先验知识，经过精心设计的网络结构，往往能做到端到端的处理，即输入网络的为摄相机捕获的原始数据，输出即为需要的结果。基于此，本发明将深度学习引入到车牌识别中来，并非简单地用深度学习训练字符识别模型，从而取代传统的SVM方法，而是取代整个车牌校正、车牌切分和字符识别三个模块，即本发明车牌识别的流程精简为：车牌检测、深度车牌识别两个模块，从而避免了传统方法需要对车牌进行精确切分的弊端，经过试验证明，该方法对于小车牌、脏污车牌、逆光车牌以及大偏角车牌具有非常好的效果。

发明内容

本发明的目的在于提供一种端到端的车牌识别方法，设计了一种3层全卷积神经网络来快速预测字符的热力图，从而得到候选字符区域，该网络具体结构的设计与训练方法如下所示：

1)网络结构：第一层：3x3卷积，stride＝1，pad＝1，滤波器个数128，激活函数AFM，接2x2的池化，stride＝2，pad＝0；第二层：3x3卷积，stride＝1，pad＝1，滤波器个数256，激活函数AFM；第三层：3x3卷积核，stride＝1，pad＝1，滤波器个数512，激活函数AFM；用第三层的特征图编码热力图，该网络结构有两个优势，一是热力图从高分辨率的特征图映射而来，得到的候选字符区域较精确，二是激活函数AFM，通过计算两组特征图的均值，减少字符噪声带来的干扰，并克服了传统激活函数RELU梯度饱和的问题；

2)训练方法：将网络输出的特征图拉升为一维向量，计算其与热力图的欧氏距离作为损失函数，通过批量随机梯度下降算法训练网络。

优选的，还可以设计一种7层深度卷积神经网络模型来对候选字符区域进行分类与位置校正，该网络结构的设计与训练方法如下所示：

1)网络结构：该网络包括3个卷积层与4个全连接层，前3个卷积层与权利要求1中的网络结构相同，并与之共享参数来减少计算量，卷积层后接2个256维的全连接层，作为字符区域分类与位置校正的特征，车牌字符共70种，特征后接71维，包括非字符的全连接层，用来识别字符，特征后接284维，即71X4，每个位置4个坐标的全连接层，用来预测字符位置；