[发明专利]一种基于非对称IOU的深度学习车牌框定位方法

权利要求书

1.一种基于非对称IOU的深度学习车牌框定位方法，其特征在于，包括以下步骤：

(1)、数据集建立与图像预处理

通过pytorch中的torchvision导入标定车牌框的车辆场景图像，构成数据集；然后对数据集中的每一张车辆场景图像依次进行尺度缩放、随机水平翻转、编码格式转换和数据标准化处理，得到标准的样本集；

(2)、构建基于FCOS的深度学习网络；

深度学习网络的结构包括三个部分：第一部分为ResNet模块化的骨干网络，其为resnet-18的backbone网络；第二部分是特征层金字塔；第三部分为损失计算模块；

(3)、训练深度学习网络；

(3.1)、从标准的样本集任意选取一张标定车牌框的车辆场景图像输入至深度学习网络；

(3.2)、在深度学习网络的第一部分中，在backbone网络中对输入的车辆场景图像分别进行步长为8、16、32的3*3卷积操作，从而提取出三层的特征图，记为C1、C2、C3；

(3.3)、在深度学习网络的第二部分中，先对特征图C3做步长为1的1*1的卷积，得到特征图P3；然后对特征图P3进行两次次步长为2的3*3卷积操作，得到两幅特征图，记为P4、P5；最后对C1、C2分别做步长为1的1*1卷积操作，再分别与P3进行叠加，叠加完成后再进行步长为1的3*3卷积操作，得到两幅特征图，记为P1，P2；至此由特征图P1到特征图P5构成不同尺度的特征金字塔；

(3.4)、在特征金字塔中，对每一层中特征图的每个像素点(x,y)进行分类预测与回归框预测，得到当前层像素点(x,y)的分类概率与回归框预测值i＝1,2,3,4,5；然后依据特征金字塔各层的尺度，将每层所得与映射回原始传入的车辆场景图，得到原图中像素点(x,y)的分类概率P_x,y和回归框预测值T_x,y；

(3.5)、在深度学习网络的第三部分中，将步骤(3.4)得到的分类概率P_x,y和回归框预测值T_x,y代入下式的损失函数中，计算本次训练时的损失值；

其中，N_pos表示落入标定车牌框的像素点数量；λ为加权项；为分类类别，为车牌类，为背景类；为指示函数，在时对应车牌类时取值为1，时对应背景类时取值为0；T_x,y为回归框预测值，具体为像素点(x,y)到回归框四个边界的距离值；为像素点(x,y)到标定车牌框四个边界的距离值；L_cls为分类损失；L_reg为回归损失；Ψ_x,y^*为像素点(x,y)的中心度；

(3.6)、重复步骤(3.1)～(3.5)，并使用Adma优化器对深度学习网络进行优化，直到深度学习网络收敛，最终得到训练完成的车牌框定位模型；

(4)、车牌框的实时定位；

由摄像头抓拍实际场景中的车辆车牌图像，按照步骤(1)所述方法进行预处理，然后再输入至车牌框定位模型，从而定位出完整的车牌框；

其中，所述分类损失L_cls采用focal损失，具体定义为：

L_cls＝-α_t(1-P_t)^γlog(P_t)

其中，(1-P_t)^γ为调制系数，γ为可调参数；α_x,y为解决像素点(x,y)分布不均匀的权重因子；

其中，所述回归损失L_reg采用非对称IOU损失，即IIOU损失，具体定义为：

L_reg＝1-IIOU

其中，A表示标定车牌框内像素点的个数，B为模型预测的回归框内像素点的个数；

2.根据权利要求1所示的一种基于非对称IOU的深度学习车牌框检测方法，其特征在于，所述像素点(x,y)的中心度Ψ_x,y^*的计算公式为：

其中，η为中心采样范围参数，l^*,t^*,r^*,b^*分别表示像素点(x,y)到标定车牌框四个边界的距离。