[发明专利]基于深度学习端对端的低照度成像车牌识别方法及装置

权利要求书

1.一种基于深度学习端对端的低照度成像车牌识别方法，其特征在于，包括：

将通过摄像模块获取的原始车牌低照度图像输入基于深度学习的多尺度上下文聚合网络进行图像处理，以获得可辨识度提高的车牌图像；

对所述车牌图像进行车牌定位和车牌倾斜校正处理，以获得定位后的车牌图像；

通过一体化的深度网络模型对所述定位后的车牌进行识别；所述一体化的深度网络模型包括卷积层、双向循环神经网络BRNN层、线性变换层和联结主义时间分类CTC层。

2.根据权利要求1所述的基于深度学习端对端的低照度成像车牌识别方法，其特征在于，所述将通过摄像模块获取的原始车牌低照度图像输入基于深度学习的多尺度上下文聚合网络进行图像处理，以获得可辨识度提高的车牌图像，包括：

将通过所述摄像模块获取的所述原始车牌低照度拜耳Bayer图像进行预处理，打包变换像素通道，以获得用于输入全卷积神经网络FCN模型进行训练的像素图像；

基于深度学习的CAN网络对所述像素图像进行训练，输出处理后图像；

对所述处理后图像进行宽动态增强处理，输出得到还原度和图像质量提高的所述车牌图像。

3.根据权利要求1所述的基于深度学习端对端的低照度成像车牌识别方法，其特征在于，所述对所述车牌图像进行车牌定位和车牌倾斜校正处理，以获得定位后的车牌图像，包括：

基于环境信息对所述车牌图像进行粗定位，以过滤所述车牌图像的部分背景区域；

基于车牌结构信息对粗定位后的所述车牌图像进行精准定位，以过滤所述车牌图像的剩余背景区域；

将精确定位后的所述车牌图像进行非极大值抑制处理和基于霍夫变换的倾斜校正处理，以得到定位后的车牌图像。

4.根据权利要求1所述的基于深度学习端对端的低照度成像车牌识别方法，其特征在于，所述通过一体化的深度网络模型对所述定位后的车牌进行识别，包括：

对所述定位后的车牌进行感兴趣区域RoI池化后的特征提取，将提取的特征通过两个卷积层，以及两个卷积层之间的矩形池化层进行处理，以将所述提取的特征变换为特征序列D×L；其中，D＝512,L＝19，所述特征序列使用V＝(V1,V2,...,VL)表示；

在BRNN层应用所述特征序列V，形成两个相互分离的循环神经网络RNN，其中一个RNN前向处理所述特征序列V，另外一个RNN后向处理所述特征序列V，将两个隐含的状态级联一起，输入到具有37个输出的线性变换层中，并转到Softmax层，将所述37个输出转换到概率，所述概率对应26个字母、10个数字及一个非字符类的概率，所述概率经过BRNN层编码，使所述特征序列V转换到与L具有相同长度的概率估计q＝(q1,q2,...,qL)，同时使用长短期记忆网络LSTM定义包含三个乘法门的记忆细胞，以选择性地保存相关信息，解决RNN训练中的梯度消失问题，

通过CTC层对所述概率估计q做序列解码，并通过解码后的概率估计q寻找具有最大概率的近似最优路径：

其中，π*是具有最大概率的近似最优路径，B算子用于一处重复的标记及非字符标记，P为概率运算；

通过所述近似最优路径确定一体化的深度网络模型的损失函数，并通过所述损失函数识别出所述定位后的车牌。

5.一种基于深度学习端对端的低照度成像车牌识别装置，其特征在于，包括：

辨识度提高模块，用于将通过摄像模块获取的原始车牌低照度图像输入基于深度学习的多尺度上下文聚合网络进行图像处理，以获得可辨识度提高的车牌图像；

定位校正模块，用于对所述车牌图像进行车牌定位和车牌倾斜校正处理，以获得定位后的车牌图像；

识别模块，用于通过一体化的深度网络模型对所述定位后的车牌进行识别；所述一体化的深度网络模型包括卷积层、BRNN层、线性变换层和CTC层。