[发明专利]一种基于YOLOv3与文本识别的美式车牌识别方法

说明书

本发明涉及一种基于YOLOv3与文本识别的美式车牌识别方法，包括步骤S1：采集美式车牌中各个州的车牌的图像数据，构成美式车牌图像集；步骤S2：对下载好的图像进行人工标注，生成xml文件，以符合YOLOv3神经网络模型训练的要求；步骤S3：对步骤S2中处理好的数据进行若干数据增强，用以提高图像质量，利于之后的训练与识别；步骤S4：训练YOLOv3神经网络模型，并用训练好的权重检测出车牌的特征区域；步骤S5：车牌特殊字符作为新样本加入deep‑text文本识别工具训练，将检测出的车牌特征区域通过训练好的文本识别工具提取出对应的字符信息。本发明提出方法的准确率高，时效性好，对于美式的车牌识别具有实际应用意义。

技术领域

本发明涉及目标识别与计算机视觉领域，特别是一种基于YOLOv3与文本识别的美式车牌识别方法。

背景技术

随着计算机视觉技术的不断发展，车牌识别作为计算机视频图像识别技术在车辆牌照识别中的一种应用，也相应地取得了飞速的发展，在高速公路车辆管理中得到广泛应用。而我国统一蓝底白字的车牌比较规范，运用现有的车牌识别技术已经能够很高的识别率，并且在许多应用场景中都有这广泛的应用。相比之下，美式的车牌就五花八门，且背景颜色各异，不同州的车牌格式都各不相同，在这种问题背景下，本文针对美式车牌的特殊性，提出了该方法用于解决美式车牌中不同于中国车牌的识别方法。

美式的车牌识别包含若干技术，其中最核心的部分就是车牌内车牌号区域、年检区域、州名区域的检测部分，该部分属于目标检测领域，剩余部分就是对检测出的文字的字符识别。

而对于目标检测，相关算法愈发成熟并广泛应用在各个领域。早期的目标检测方法通常是通过提取图像的一些robust的特征(如Haar、SIFT、HOG等)，使用DPM(DeformableParts Model)模型，用滑动窗口(silding window)的方式来预测具有较高score的bounding box。这种方式非常耗时，而且精度又不怎么高。2013年，Ross Girshick等提出了R-CNN，将CNN方法应用到目标检测上，借助CNN良好的特征提取和分类性能，通过RegionProposal方法实现目标检测问题的转化，减少了大量的计算，但其仍存在几个明显的问题，如多个候选区域对应的图像需要预先提取，占用较大的磁盘空间等。而后Kaiming He提出SPP-Net用于解决R-CNN特征提取过于耗时的问题，在R-CNN的基础上做了实质性的改进，对特征提取步骤做了修改，特征提取不再需要每个候选区域都经过CNN，只需要将整张图片输入到CNN就可以了，ROI特征直接从特征图获取。和R-CNN相比，速度提高了百倍。但其仍存在很多问题，CNN中的conv层在微调时是不能继续训练的，很大程度上限制了深度CNN的效果，而且它仍然是R-CNN的框架，离端到端的检测还差很多。2015年，R-CNN原作者RossGirshick进一步提出了Fast-RCNN，Fast-RCNN实现大部分end-to-end训练，所有的特征都暂存在显存中，就不需要额外的磁盘空间，借鉴SPP-Net提出了一个RoI层，SPP是pooling成多个固定尺度，RoI只pooling到单个固定的尺度。然而，Fast-RCNN依然没有解决ProposalRegion耗时的问题。2016年，由Ross Girshick与Kaming He共同提出的Faster-RCNN，通过添加额外的RPN分支网络，将候选框提取合并到深度网络中。通过使用共享特征交替训练的方式，达到接近实时的性能。而在2015年，Joseph Redmon和Ali Farhadi等人于2015年提出基于单个神经网络的目标检测系统YOLO(You Only Look Once)YOLO算法使用深度神经网络进行对象的位置检测以及分类，主要的特点是速度够快，而且准确率也很高，采用直接预测目标对象的边界框的方法，将候选区和对象识别这两个阶段合二为一，与faster rcnn区分开来，是端到端的检测方法。Yolo算法不再是窗口滑动了，而是直接将原始图片分割成互不重合的小方块，然后通过卷积最后生产这样大小的特征图，基于上面的分析，可以认为特征图的每个元素也是对应原始图片的一个小方块，然后用每个元素来可以预测那些中心点在该小方格内的目标，这就是Yolo算法的朴素思想，最新的YOLOv3算法再以往的结构上做出了改进，增加了多尺度检测，以及更深的网络结构darknet53,这是比较主要的改进，采用了上采样和特征图融合，将浅层的细节信息和深层的语义信息进行融合，并且多特征输出，这样做可以极大提升对小物体的检测效果。