[发明专利]基于多任务级联卷积神经网络的车牌检测方法

权利要求书

1.一种基于多任务级联卷积神经网络的车牌检测方法，其特征在于，包括以下步骤：

步骤S1：采集车辆图像和车牌图像数据，并预处理；

步骤S2：构建多任务级联卷积神经网络模型；

步骤S3：使用预处理的车辆图像数据对多任务级联卷积神经网络前两级网络进行预训练，使用预处理的车牌图像数据对多任务级联卷积神经网络后一级网络进行预训练，得到训练好的完整的多任务卷积神经网络模型；

步骤S4：对待检测原始图像数据进行resize到不同尺度，构造待检测图像金字塔；

步骤S5：将待检测图像金字塔输入到训练好的多任务级联卷积神经网络模型进行车牌检测；

所述步骤S2具体为：构建由三个网络构成多任务级联卷积神经网络模型，包括第一卷积神经网络P-net、第二卷积神经网络R-net、第三卷积神经网络O-net；

步所述的第一卷积神经网络P-net，包括：四个卷积层、一个次采样层、一个softmax回归层，其中构成顺序为：卷积层conv1-次采样层mp1-卷积层conv2-卷积层conv3-卷积层conv4-回归层softmax；

所述第二卷积神经网络R-net，包括：三个卷积层、二个次采样层、二个全连接层、一个softmax回归层；其中构成顺序为：卷积层conv1-次采样层poo1-卷积层conv2-次采样层pool2-卷积层conv3-全连接层conv4-全连接层conv5-回归层softmax；

所述第三卷积神经网络O-net，包括：四个卷积层、三个次采样层、二个全连接层、一个softmax回归层；其中构成顺序为：卷积层conv1-次采样层poo1-卷积层conv2-次采样层pool2-卷积层conv3-次采样层pool3-卷积层conv4-全连接层conv5-全连接层conv6-回归层softmax；

其中卷积层采用结合BN层的卷积层，激励函数使用的Relu激励函数，并对噪声信号和信息信号进行分离，损失函数采用多任务损失函数结合，由三部分组成，其中车牌分类损失函数采用交叉熵损失函数，车牌预测框回归损失函数采用平方损失函数，车牌关键点回归损失函数采用平方损失函数

所述多任务损失函数具体为：

车牌分类损失函数公式为:

其中车牌分类损失函数为交叉熵损失函数，p_i为是车牌的概率，为非车牌的背景标签；

车牌预测框回归损失函数公式为:

其中车牌预测框回归损失函数是计算网络预测的回归框坐标和实际真实回归框坐标的欧式距离，为通过卷积神经网络预测得到的回归框坐标，为实际真实的回归框坐标；值代表(x,y,w,h)，其中x,y为框左上角的坐标值；

车牌关键点定位损失函数为:

其中关键点定位损失函数是计算网络预测的角点坐标和实际真实角点坐标的欧式距离，为通过卷积神经网络预测得到的角点坐标，为实际真实的角点坐标，由于车牌角点坐标一共4个点，每个点2个坐标，故属于八元组；

多任务损失函数由以上三部分构成，整个损失函数公式为:

其中α_i为任务的重要程度，β_i^j为{0，1}的指示器；其中多任务第一神经网络P-net的α_j值分别为α_det＝1,α_box＝0.5,α_landmark＝0.3，第二多任务卷积神经网络R-net的α_j值分别为α_det＝1,α_box＝0.5,α_landmark＝0.5,第三多任务卷积神经网络O-net的α_j值分别为α_det＝1,α_box＝0.5,α_landmark＝1；

所述步骤S5具体为：

步骤S51：将待检测图像金字塔输入到多任务级联卷积神经网络模型P-net网络中，获取候选车牌窗口和边界框回归向量，用边界框回归向量校准候选车牌窗口，之后采用非极大值抑制合并候选车牌窗口，排除非感兴趣的背景图像；

步骤S52：将多任务级联卷积神经网络模型P-net网络输出的候选车牌窗口输入到训练好的多任务级联卷积神经网络模型R-net网络；对候选车牌图像进行精确的提取，过滤错误候选车牌窗口，用边界框回归校准候选车牌窗口，之后再采用非极大值抑制合并候选车牌窗口，排除不存在车牌区域的图像；

步骤S53：将多任务级联卷积神经网络模型R-net网络输出的候选车牌窗口输入到训练好的多任务级联卷积神经网络模型O-net网络，对候选车牌图像进行进一步精准提取，并标记出车牌图像中的四个关键点信息。