[发明专利]一种基于深度学习的车牌图像校正、识别方法及系统

权利要求书

1.一种基于深度学习的车牌图像校正方法，其特征在于：利用LPD-Net校正车牌图像，步骤为，首先基于关键点获取车牌特征热力图，然后使用回归得到的仿射变换参数校正车牌图像四个角点为正面角度，获得校正后的车牌图像；

所述步骤包括以下子步骤：

S1：使用卷积神经网络提取输入图像的关键点热力图关键点偏置图与仿射参数图

式中，W为输入图像宽度，H为输入图像高度，R为下采样步长，C为类别数量；热力图为三维特征图，维度为图中每点的值为热力值，用表示，即每点(x,y,c)处的置信度信息；若某像素点热力值大于该点处八邻域所有点热力值，则该点为热力点；我们取C＝1，表示车牌类别，对热力图中车牌类别筛选100个热力点；为避免下采样步长R引起的离散误差，使用关键点偏置图预测关键点的偏置值；偏置图为三维特征图，维度为图中每点的值为偏置值，用表示(此处，c取值为1-2)，2表示通道数为2，分别代表水平与垂直方向的偏置值；仿射参数图为三维特征图，维度为图中每点的值为仿射参数值，用表示(此处，c取值为1-6)，6表示通道数为6，代表6个仿射变换参数v₁、v₂、v₃、v₄、v₅和v₆；

S2：基于仿射变换参数，对热力点的四个角点位置进行校正，校正公式如下：

式中，v₁和v₄采用max函数，q_i表示以热力点为中心的单位正方形对应顶点的向量，其中q₁＝[-0.5,-0.5]^T，q₂＝[0.5,-0.5]^T，q₃＝[0.5,0.5]^T，q₄＝[-0.5,0.5]^T；

所述LPD-Net中损失函数设计如下：

1)关键点预测损失：

式中，α和β代表focal loss的超参数，N是图片中关键点的个数，Y_xyc代表真实值热力图中(x,y,c)处的置信度；

2)关键点偏置损失：

式中，N是图像中关键点的个数，k代表图像中的真实关键点，R为下采样步长，代表真实关键点在偏置图中对应位置处的偏置值；

3)仿射损失：

车牌四个角点的真实坐标值归一化公式：

其中γ是一个比例常数，R代表下采样步长、p代表角点真实坐标向量、x和y代表关键点所在位置；

计算单位正方形每个角点的校正值T_xy(q)和车牌角点归一化真实值A_xy(p)的差，然后求和，即为仿射损失：

4)整体损失：

loss＝L_keypoint+λ_offsetL_offset+λ_affineⅡ_objL_affine

式中，我们设置λ_offset＝1，λ_affine＝0.5；如果点(x,y,c)处为热力点则Ⅱ_obj为1，否则为0。

2.一种包含权利要求1所述的一种基于深度学习的车牌图像校正方法的车牌图像识别方法，其特征在于，包括以下步骤：

S1：构建车牌图像专用数据集；

S2：对专用数据集归一化预处理，从专用数据集中提取图像样本，将提取的图像样本减去数据集样本内所有图像像素的均值；

S3：检测车辆在图像中位置，采用目标检测网络实现车辆检测；

S4：检测车牌并校正；

S5：识别车牌文字。

3.根据权利要求2所述的一种车牌图像识别方法，其特征在于，所述S1中数据集包含高亮度图像、低亮度图像和夜晚亮度图像。

4.根据权利要求2所述的一种车牌图像识别方法，其特征在于，所述S3采用目标检测网络CenterNet实现车辆检测。