[发明专利]一种端到端的车牌识别方法

权利要求书

1.一种端到端的车牌识别方法，其特征在于：设计了一种3层全卷积神经网络来快速预测字符的热力图，从而得到候选字符区域，该网络具体结构的设计与训练方法如下所示：

1)网络结构：第一层：3x3卷积，stride＝1，pad＝1，滤波器个数128，激活函数AFM，接2x2的池化，stride＝2，pad＝0；第二层：3x3卷积，stride＝1，pad＝1，滤波器个数256，激活函数AFM；第三层：3x3卷积，stride＝1，pad＝1，滤波器个数512，激活函数AFM；用第三层的特征图编码热力图，该网络结构有两个优势，一是热力图从高分辨率的特征图映射而来，得到的候选字符区域较精确，二是激活函数AFM，通过计算两组特征图的均值，减少字符噪声带来的干扰，并克服了传统激活函数RELU梯度饱和的问题；

2)训练方法：将网络输出的特征图拉升为一维向量，计算其与热力图的欧氏距离作为损失函数，通过批量随机梯度下降算法训练网络；

所述端到端的车牌识别方法还包括：

设计一种7层深度卷积神经网络模型来对候选字符区域进行分类与位置校正，其网络结构的设计与训练方法如下所示：

1)网络结构：该网络包括3个卷积层与4个全连接层，前3个卷积层与所述3层全卷积神经网络中的网络结构相同，并与之共享参数来减少计算量，卷积层后接2个256维的全连接层，作为字符区域分类与位置校正的特征，车牌字符共70种，特征后接71维，包括非字符的全连接层，用来识别字符，特征后接284维，即71X4，每个位置4个坐标的全连接层，用来预测字符位置；

2)训练方法：本网络的训练采用三任务同时学习的方式，第一任务，采用Softmax方法对候选字符区域进行分类，权重系数设为1；第二任务，采用双端平滑L1距离方法对候选字符区域进行位置校正，权重系数设为10；第三任务，采用重叠率loss，即直接计算预测矩形框与真实矩形框的重叠率作为损失值，用于对候选字符区域进行位置校正，权重系数设为10，该训练方式有两个优势，一是多任务的训练方式，能有效地提高候选区域的识别精度，二是对位置采用双端平滑L1和重叠率双重loss，能有效地保证小字符的位置回归精度；

还提出了一种基于模板的最优路径算法，该算法基于分类与位置校正结果，结合模板信息，自动选择最优车牌字符序列，其具体算法步骤如下：

S1：将所有候选字符基于识别置信度和位置用K均值聚类算法进行聚类，K取7，因为普通车牌均为7个字符，对每一类取置信度最高的字符作为最优字符，对周围重叠率大于阈值0.5的字符位置，按置信度加权计算位置坐标的平均值，以进一步校正最优字符的位置；

S2：依次假设最优字符为车牌的第i个字符，根据车牌的模板信息，以最优字符为中心分别向左和向右计算出剩余车牌字符的位置，并与所有候选字符的位置进行匹配，若有多个候选字符匹配，则取置信度高的作为匹配结果，对所有的识别结果按整体平均置信度排序，取最大的作为最终识别结果。