[发明专利]一种基于深度学习的车牌定位和识别方法

权利要求书

1.一种基于深度学习的车牌定位和识别方法，其特征在于：包括两个方面：基于FasterR-CNN模型的车牌定位和基于AlexNet-L网络模型的端对端的车牌字符识别；

步骤1，对训练集的车牌区域尺寸应用k-means++算法处理，选择最佳的候选尺寸，结合到Faster R-CNN；

步骤2，利用Faster R-CNN训练图片，得到模型；

步骤3，输入一张包含车牌的图片，经过卷积处理之后，得到特征图；

步骤4，将所得的特征图经过全卷积神经网络RPN处理后,得到候选框，将获取的特征图和候选框一起经过ROI pooling处理后进行分类，输出车牌位置和分数；

步骤5，将车牌区域从原图中截取下来；

步骤6，截取的车牌区域通过AlexNet-L网络模型的端对端的卷积神经网络，最终输出车牌上的各个字符；

所述AlexNet-L网络模型是在AlexNet网络模型基础上的一个改进，AlexNet-L网络模型有九层结构，第一、二层均包含了卷积，池化层和归一化；与AlexNet网络模型不同的是，AlexNet-L网络模型的第一层中池化层和归一化操作的顺序不一样；AlexNet-L网络模型的第三层到第五层用了三个相同的卷积操作；第六层使用了卷积层和池化层，第七层是一个全连接层，第八和第九层采用并列的七个全连接层，分别用来对车牌的各个字符进行识别；

所述AlexNet-L网络模型在AlexNet网络模型基础上进行如下几个方面的改进：

①第一层和第二层的改进：

将AlexNet中第一层和第二层中归一化和池化层相互调换顺序，即将AlexNet中归一化1，池化层1以及归一化2，池化层2调换顺序；

②增加卷积层来提高分类效果：

在AlexNet的卷积层3，卷积层4的后面增加一个同样的卷积层；

③全连接层的改进：

车牌的端对端的字符识别为7个字符，将AlexNet的第七层全连接层更改为7个并列的全连接层，分别获取7个字符的特征向量；

④输出层的改进：

由于中国的车牌字符有7个字符，最终的输出应该是7个标签，将AlexNet网络的第八个全连接层更改为并列的7个全连接层，并与前一层7个并列的全连接层分别相连，对于最后一个全连接层，每个类别对应的标签数并不唯一。

2.根据权利要求1所述的一种基于深度学习的车牌定位和识别方法，其特征在于：由于中国的车牌区域比例为440cm*140cm，近似为3:1，为了确切地反映各种图片中车牌区域的大小，采用k-means++算法来选定3个比例的长宽比；

k-means++算法需要采用模型预测的候选框和标记的候选框的交叠率IoU为指标，IoU的计算方式为：

其中，S_groundTruth表示真实的候选框，S_anchorBox表示预测的候选框；

k-means++算法得到初始候选框的算法包括以下步骤：

S1：k-means++算法的输入为车牌的长度和宽度C＝{d₁(x₁,y₁),d₂(x₂,y₂),…,d_n(x_n,y_n)}，以及k个候选框的长宽比；

S2：从C中随机选取一个样本为c₁(c₁∈C)；

S3：对于C中每一个样本，计算每个样本到c₁的距离：

d(b_i,c₁)＝1-IoU(b_i,c₁) (2)

其中i∈(1,2,3,…,n)；

S4：计算每个样本选为下一个质心的概率：

S5：定义S_i：

S6：生成一个0到1之间的随机数r，判断r属于区域{s_i-1,s_i}，则b_i(x_i,y_i)是第二个质心；

S7：重复步骤S3～S6，直到得到k个质心。