[发明专利]一种基于端到端神经网络的大角度车牌倾斜矫正方法

说明书

本发明属于车牌智能识别领域，为基于端到端神经网络的大角度车牌倾斜矫正方法，包括以下步骤：利用车牌检测技术得到大致的车牌区域，并对车牌区域进行扩展，得到扩展后的车牌区域，作为输入区域；利用全卷积深度神经网络，对输入区域提取高维特征，获得特征图；解析特征图，得到候选车牌区域四个顶点的绝对坐标；根据候选车牌区域四个顶点的绝对坐标对车牌倾斜矫正。本发明利用全卷积深度神经网络提取高维特征，确定车牌候选区域，回归车牌的仿射变换系数，分别利用仿射变换原理逆向计算四个顶点位置，最后通过仿射变换得到校正后的车牌图像；整个矫正过程不依赖其他硬件设备或算法，具有较高的鲁棒性。

技术领域

本发明涉及车牌智能识别技术，具体为一种车牌倾斜矫正方法。

背景技术

随着平安城市建设的不断进步以及各行各业监控系统的不断完善，每秒都有海量的视频图像数据被采集，车辆智能分析是视频智能分析最重要应用方向之一。车牌是每辆车唯一的标示，因此精准的自动车牌识别算法显得至关重要。

车牌识别算法一般分为车牌检测、车牌矫正、车牌分割、字符识别四大模块。每个模块间相互关联、相互影响。车牌矫正作为重要模块之一，直接决定了后续车牌分割的成功率。在车牌识别过程中，经常会遇到大角度车牌；大角度车牌一般指水平倾斜角度大于30度而小于60度的车牌，大角度车牌矫正方法是困扰业内很长时间的难点问题。传统的车牌倾斜矫正方法，例如直线拟合、水平投影、radon变换等通常最多只能解决30度以内的车牌倾斜，并且很依赖车牌准确定位与车牌二值化算法。近些年随着深度学习的发展，也出现了不少基于深度学习的车牌矫正方法，最典型的是借鉴人脸特征点定位思想定位车牌四个顶点，最后利用透视变换进行车牌复原；这种深度学习的矫正方法对图像质量要求高，没有充分利用车牌先验知识，对于高噪声或者模糊样本等复杂场景处理能力弱。也有些人通过硬件与算法相结合解决车牌倾斜矫正问题，这种方法成本高，不易部署。

可见，传统的车牌矫正方法逻辑复杂，场景依赖性强，对车牌准确定位和二值化等其它算法的依赖性强，通常处理不了大于30度的倾斜车牌。而基于深度学习回归的四点定位方法鲁棒性差，对复杂场景兼容性不强。业内没有一种有效、场景鲁棒性高、逻辑简单的端到端大角度车牌矫正算法。

发明内容

为解决现有技术所存在的技术问题，本发明提供一种基于端到端神经网络的大角度车牌倾斜矫正方法，不依赖其他硬件设备或算法，具有较高的鲁棒性。

本发明采用以下技术方案来实现：一种基于端到端神经网络的大角度车牌倾斜矫正方法，包括以下步骤：

步骤1、利用车牌检测技术得到大致的车牌区域，并对车牌区域进行扩展，得到扩展后的车牌区域，作为输入区域；

步骤2、利用全卷积深度神经网络，对输入区域提取高维特征，获得特征图；

步骤3、解析特征图，得到候选车牌区域四个顶点的绝对坐标；

步骤4、根据候选车牌区域四个顶点的绝对坐标对车牌倾斜矫正。

在优选的实施例中，在全卷积深度神经网络的最后设有两个平行的卷积层，一个卷积层后面连接Softmax函数，用于得到车牌/非车牌概率；另一个卷积层后面连接线性激活函数，用于得到仿射变换的参数；

所述步骤2对输入区域的高维特征进行提取，将Softmax函数得到的车牌/非车牌概率识别结果与线性激活函数的处理结果拼接，得到所提取的特征图。

在优选的实施例中，假设扩展后车牌区域所在的全图的高度为H，宽度为W，全卷积深度神经网络的卷积步长为N_s，则所提取的特征图的维度为M*N*8，其中：

M＝H/N_s，N＝W/N_s