[发明专利]一种基于深度学习的多方位车牌定位方法

摘要

本发明公开了一种基于深度学习的多方位车牌定位方法，包括下述步骤：S1，构建大规模带车辆标注的数据集；从开源的数据集得到大量不同场景下的不同机动车的样本，并对得到的样本进行样本标注从而得到训练样本集，样本标注是只框出车辆存在的区域；本发明采用最新的YOLO目标检测方法，提出了一种新的精确的旋转角预测方法来实现多向车牌检测，同时为了快速求出两个转动矩形之间的交并比(IoU)，提出了一种近似方法，即角偏差惩罚因子；本发明具有最先进的检测精度，并且可以实时运行。

主权项

1.一种基于深度学习的多方位车牌定位方法，其特征在于，包括下述步骤：S1，构建大规模带车辆标注的数据集；从开源的数据集得到大量不同场景下的不同机动车的样本，并对得到的样本进行样本标注从而得到训练样本集，样本标注是只框出车辆存在的区域；对进行车辆识别的卷积神经网络进行训练，具体步骤如下：S1.1，网络参数的修改及初始化：修改YOLO目标检测算法并进行训练，为了满足只检测车辆的要求，将YOLO目标检测算法的最后一层卷积层的filters＝(C+5)×A，其中，C为识别物体的种类，5为YOLO目标检测算法输出五个参数，设置anchorboxes，即A＝5，将最后一层的filters修改为30，对应于只有车辆一种分类的情况；修改配置文件；使用在Pascal VOC数据集上训练过的卷积层及相关参数并进行初始化；S1.2，将训练样本输入网络，进行前向传播，计算预测值与真实值之间的损失函数，并结合反向传播使损失函数降低，迭代训练直至网络收敛，从而得到训练完成的车辆目标检测模型；S2，将待检测的图像经过处理转换成和训练样本集尺寸相同的图像，输入训练完成的车辆目标检测模型中，得到车辆和车牌区域并检查模型的准确度；其中，待检测的图像可能与训练样本集中的图像尺寸不符，此时需要对待检测的图像进行转换，转变为和训练样本集中图像相同的尺寸，然后输入车辆目标检测模型并进行一次前向传播，输出图像中的车辆信息，根据车辆目标检测模型预测的结果与真实值之间的差距来判断模型的准确度；S3，将车辆识别卷积神经网络的输出作为车牌定位卷积神经网络的样本集，并对有偏移角度的车牌重新标注作为训练集，对有偏移角度的车牌定位卷积神经网络进行训练，具体步骤如下：在YOLO目标检测算法的网络基础上进行改进，网络包含七层卷积层以及三层全连接层，前五层卷积层之后分别有一层最大池化层；网络的训练过程如下：S3.1，t＝F(I)，S3.2，loss function：J＝J(t‑v)；S3.3，S3.4，对于输入图片I，寻求满足输出是t的一个非线性函数F(I)，但是F(I)很难得到，因此通过一个卷积神经网络学习得到通过反向传播算法不断调整从而逼近F(I)；在上述过程中，v是神经网络的输出，J是v与t之间的差距衡量，i是迭代次数，最后的θ*是训练完成的网络参数；对于车牌的偏移角度，通过以下公式归一化处理：其中，i为第i个车牌，N为训练集中的车牌总数；当一张图片输入卷积神经网络模型时，网络会根据整个图像提取出全局特征，然后全连接层输出一个长度为637的向量d；与YOLO目标检测算法不同的是，向量d的长度的计算为：S×S×(B×6+1)＝7×7×(2×6+1)＝637，其中，S代表图片分成了S×S个单元，B为每一个单元预测的Bounding Boxes的个数；对于图片中的单元(i，j)，预测的第k个bounding boX能够用以下公式来表示：ind＝(i×S+j)×(B×6+1)；上述为简单的网络结构表示，有一个卷积层与一个全连接层，分别对应于l层和l+1层，W_c和W_f分别为卷积层和全连接层的权重，x和u分别是l层和l+1层的输入，b是偏置，ind是预测向量d的指数，是第k个boundingbox使用单元格的左上角坐标以及图像的宽I_w和高I_h得到的归一化值，分别为坐标、宽和高以及偏移角度；损失函数定义为：其中，λ_coord和λ_noobj分别为5和0.5，如果车牌中心在第i个单元格中，则即交并比是衡量预测的boundingbox和真实值之间差距的标准，和分别代表车牌落入的单元格和未落入的单元格；S4，联合S1中训练完成的车辆识别卷积神经网络和S3中训练完成的车牌定位卷积神经网络，输入待检测图像并在两个卷积神经网络中进行一次前向传播，输出准确的车牌位置，从而精确定位车牌。