[发明专利]基于YOLOv3的同步端到端车牌定位与识别方法

权利要求书

1.基于YOLOv3的同步端到端车牌定位与识别方法，其特征在于包括以下步骤：

步骤1：获取车牌外接矩形框以及车牌号信息，制作成数据集标签文件，将数据集分为训练数据集、验证数据集和测试数据集；

步骤2：训练基于YOLOv3的车牌检测与识别一体化网络LP-Yolo，使之能在检测车牌的同时实现对多种类型车牌的识别，将训练数据集增广后，放入网络训练；

步骤3：利用训练好的网络模型，在测试数据集上对车牌进行定位和识别，然后评估模型。

2.根据权利要求1所述基于YOLOv3的同步端到端车牌定位与识别方法，其特征在于步骤3中，利用训练好的网络模型，在测试数据集上对车牌进行定位和识别，然后使用精确率与召回率两个指标来评估模型，具体计算见公式(14)(15)，在对模型进行评估时，若精确率和召回率较低，可以通过改变训练次数、学习率等重新训练模型；

Precision＝TP/(TP+FP) (14)；

Recall＝TP/(TP+FN) (15)；

其中：TP为真阳性，表示检测正确的车牌数量；FP为假阳性，表示非车牌被检测为车牌的数量；FN为假阴性，表示车牌被检测为非车牌的数量。

3.基于YOLOv3的端到端车牌检测与识别网络LP-Yolo，其特征在于：

该网络不仅预测车牌位置信息，同时还能够预测车牌号信息，网络的输出层特征通道数nfilter如公式(10)所示：

nfilter＝boxNum*(classes+coord+conf+lp_c+lp_n) (1)

其中，boxNum表示每个单元格预测的边界框(bounding box)个数，即每个尺度对应一个边界框，coord表示边界框的位置信息，即中心点坐标(x,y)和宽w高h，conf表示置信度，classes为类别个数，lp_c表示车牌类型所占位数，lp_n为车牌号所占位数；

网络LP-Yolo增加了新的预测信息，在原有损失函数的基础上增加车牌类型及车牌号信息预测的损失，如公式(11)、公式(12)、公式(13)所示：

NTotal_loss＝Total_loss+lpc_loss+lpn_loss (2)

其中，NTotal_loss、Total_loss、lpc_loss、lpn_loss分别为改进模型的总损失、原始模型总损失、车牌类型损失、车牌号损失；S×S为特征图尺寸；B为特征图每个网格单元(cell)产生的边界框数目；M、N分别为车牌类型和车牌号编码位数；λ_lpc、λ_lpn分别为车牌类型损失权重、车牌号信息损失权重；分别表示第i个网格的第j个anchor是否负责预测目标，当负责时，取值为1，否则，取值为0；分别为车牌类别和车牌号真实编码值；pc_ik、pn_ik分别为车牌类别和车牌号的网络预测。

4.根据权利要求3所述基于YOLOv3的端到端车牌检测与识别网络LP-Yolo，其特征在于：所述LP-Yolo网络结构，网络输入为416*416*3，经过一系列特征提取后，输出3个不同尺寸的特征图，分别为：13*13*nfilter、26*26*nfilter、52*52*nfilter，其中，nfilter为通道数，特征图中的每个网格会预测三组目标信息。

5.根据权利要求3所述基于YOLOv3的端到端车牌检测与识别网络LP-Yolo，其特征在于：所述LP-Yolo网络结构，能够预测A信息和B信息，A信息是预测目标边界框的信息，包括边界框的中心点(x,y)、宽高(w,h)、置信度s及类别c，对车牌一类目标进行处理，故类别数为1，每个边框信息占6位；

B信息是预测检测到的区域内的车牌类别及车牌号信息，对三种类型车牌进行分类识别，分别为普通黄蓝黑牌、双层黄牌、新能源车牌，其中前两种车牌长度均为7，后一种长度为8；编号0的部分为车牌类型表征位，编号为1-8的区预测当前所检测到的车牌牌号，如果车牌类型后续还有增加，能够对其扩展，只需要增加表征车牌类型的编码位数。

6.根据权利要求5所述基于YOLOv3的端到端车牌检测与识别网络LP-Yolo，其特征在于：引入二进制编码的方法来处理车牌类型及车牌号的预测，编码规则为：

编号为0的位预测车牌类型，包括3类，使用2位二进制数编码；

编号为1的位预测省份简称，包括31类，使用5位二进制数编码；

编号为2的位预测发证机关代码，包括“A-Z”中除字母“O”、“I”的24个字符，使用5位二进制数编码；

编号为3-8的位预测车牌号字符，包括“A-Z”中除字母“O”、“I”的24个及数字“0-9”，共34类，使用6位二进制数编码，其中，编号8的预测仅在类型为新能源车牌时有效。