[发明专利]一种基于Mask-RCNN的非机动车车牌识别方法及系统

权利要求书

1.一种基于Mask-RCNN的非机动车车牌识别方法，其特征在于：包括以下步骤：

S1：训练基于卷积神经网络(Mask-RCNN)的非机动车车牌检测模型；

S2：利用S1所述的检测模型在拍摄到的图片中检测非机动车车牌图像区域，获取一些疑似非机动车车牌的图像及相应位置坐标；

S3：对S2获得的疑似非机动车车牌图像进行精确筛选，完成车牌图像的精确定位；

S4：对S3所述非机动车车牌图像进行倾斜矫正，以便后续非机动车车牌字符识别使用，本发明采用Hough变换法提取倾斜车牌的倾斜角度，并完成车牌图像旋转；

S5：对S4所述完成倾斜矫正的车牌图像进行字符分割，并完成字符图像的归一化；

S6：采用基于BP神经网络的字符识别方法对S5所述归一化后的字符图像进行识别。

2.如权利要求1所述的一种基于Mask-RCNN的非机动车车牌识别方法，其特征在于：步骤S1具体包括：

S1.1：训练数据集收集：用于训练的数据集主要来自两个途径，一部分是从网络上获取，还有一部分来自街头实地拍摄，获取的数据集总数为3200张包含非机动车车牌的图像；

S1.2：数据增强：S1.1所述的样本数量对于深度学习需求的数据量来说依然不足，而数据量不足容易导致过拟合，为了解决该问题，需要对所获得的图像样本数据进行数据增强，数据增强的好处是弥补数据量不足的同时还能防止过拟合和提高模型的泛化能力，对S1.1所述的样本进行数据增强后，原有的3200张包含非机动车车牌的图像增加到6500张；

S1.3：对S1.2获取的数据集进行标注，获取车牌图像在原始图像数据中的位置，包括如下步骤：

S1.3.1：数据集预处理，所述预处理包括：去除无效数据、将数据集图片分辨率大小统一设置为1280*960；

S1.3.2：本发明采用标框标注，即框选出要检测的非机动车车牌对象，获得四个顶点的坐标；

S1.3.3：按照8:1:1的比例将S1.3.2标注好的数据集划分为训练集、验证集与测试集；

S1.4：采用Mask-RCNN的卷积神经网络结构在S1.3.3分割好的数据集上进行训练，获得一个在拍摄到的图像中检测非机动车车牌图像区域的检测模型。

3.如权利要求12所述的一种基于Mask-RCNN的非机动车车牌识别方法，其特征在于：所述步骤S1.2中样本数据增强，包括如下步骤：

S1.2.1：尺度变换：对S1.1所获取的数据进行高斯滤波，改变图像的模糊程度，以此增加样本数据规模；

S1.2.2：位置变换：对S1.1所获取的数据样本进行位置变换包括三种不同的策略，即平移、旋转和翻转变换，对每一张样本图片将随机采取一种策略进行数据增强；

图像平移指对图像内容进行平移，采用随机设定的方式，设置平移方向与平移步长等参数；图像旋转指对图像内容进行一定角度的旋转，改变图像内容的朝向；图像翻转指沿着水平或者垂直方向翻转图像；

S1.2.3：对比度、饱和度变换：首先将样本图片由RGB颜色空间转换到HSV颜色空间；其次，保持色调分量(H)不变，改变饱和度分量(S)和亮度分量(V)。

所述步骤S1.2.3中颜色空间的转换，具体的计算公式如下：

R'＝R/255G'＝G/255B'＝B/255

其中：R、G、B为图片颜色分量；

C_max＝max(R',G',B')C_min＝min(R',G',B')

Δ＝C_max-C_min

HSV颜色分量计算：

V＝C_max

4.如权利要求1所述的一种基于Mask-RCNN的非机动车车牌识别方法，其特征在于：步骤S3具体包括：

S3.1：非机动车车牌宽高比在2.5～7.5之间，按照这个比例先对步骤S2所述图像做一个区域粗筛选，剔除掉一些过大或者过小的区域；

S3.2：采用支持向量机(Support Vector Machine，SVM)分类器，对候选车牌进行精确筛选，输出最终的候选非机动车车牌图像。