[发明专利]一种严重退化车牌图像信息恢复方法

说明书

本发明涉及一种严重退化车牌图像信息恢复方法，该方法使用卷积神经网络学习严重退化车牌信息提取所需的先验知识，采用仿真车牌图像与真实车牌图像进行卷积神经网络的训练与微调，并且采用SoftMax输出形式获得每个车牌字符位置处的字符输出概率，为车牌信息提取提供决策基础，实现了字符分割与识别的统一处理。该方法和过程有效地实现了严重退化车牌信息的提取，有助于所有低分辨率车牌信息的提取。可帮助公安部门获取有意义的证据和线索，具有最大的应用价值。

技术领域

本发明属于图像处理技术应用领域，尤其是一种严重退化车牌图像信息恢复方法。

背景技术

用于监控公共区域和交通的公共监控摄像头随处可见。由于带宽和存储的限制，这些视频监控系统大多由相对低分辨率的摄像机组成。另外，为扩大监控覆盖的区域，这此监视摄像机通常配置为最大化视野，从而进一步限制视频中对象的有效分辨率。因此，公共监控摄像头拍摄的视频往往分辨率较低，以至于重要的识别细节都被掩盖了。极低的质量的图像如大约20像素的宽度的车牌，先进的去噪声和通用的超分辨率技术也无法从如此低质量的图像中提取有用的信息。但有用的信息确实存在于这种高度退化的图像中。如何有效的提取这此信息对于公安部门获取证据和线索具有最大的应用价值。

传统的车牌自动识别方法将任务分为四个阶段：图像采集、车牌提取、字符分割和字符识别。每个阶段的性能依赖于前一个阶段的鲁棒性。低分辨率图像阻碍了孤立进行单个字符检测和识别的能力，使得识别相邻字符之间的边界变得困难。因此将字符分割和字符识别给合在一起的整体识别成为退化图像信息提取的核心。随着卷积神经网络(CNN)最近的成功，各种整体图像识别方法应运而生，如Goodfellow等人提出了一种能够识别有界长度的任意数字组合的CNN体系结构用于从图像中提取房屋编号，但无法处理高度退化的图像。

从高度退化的车牌中提取有用的信息，是一个病态的欠完备的问题，需要大量的先验知识才能从有限的像素中恢复有用的信息。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提出一种严重退化车牌图像信息恢复方法，通过设计仿真程序和搜集车牌数据，设计实验过程，利用卷积神经网络进行车牌图像先验知识的学习以及车牌信息的整体识别。

为了实现上述目的，本发明采用如下技术方案：

一种严重退化车牌图像信息恢复方法，包括以下步骤：

步骤1、收集真实环境中的各种车牌图像，；

步骤2、分析车牌特征如字体，字符分布，颜色特征等，设计车牌仿真生成程序。使用车牌仿真生成程序，生成大量的仿真车牌图像。

步骤3、对仿真车牌图像、真实车牌图像加入各种程度的噪声信息，并据此生成不同大小的退化图像。然后再将这些退化图像尺寸放大到相同大小，构建带有标签信息的仿真车牌退化图像数据库和真实车牌退化图像数据库。构建仿真车牌退化图像的训练数据集、验证数据集和测试数据集；构建真实车牌退化图像的训练数据集、验证数据集和测试数据集；

步骤4、构建卷积神经网络，采用仿真车牌退化图像数据库进行训练；

步骤5、对步骤4中的得到的模型采用真实车牌退化图像数据库进行微调，进一步改进模型。最终得到恢复退化车牌图像信息所需要的模型。

进一步，所述步骤1中车牌图像经过去畸变和校正、裁剪，变成只包含车牌号码(不包括首位的汉字)的矩形车牌图像，大小为560*224像素；

进一步，所述步骤2中车牌仿真生成程序还对车牌的亮度，颜色、背景噪声的变化进行了模拟后成100万张车牌图像，生成的仿真图像只包含车牌号码(不包括首位的汉字)的矩形车牌图像，大小为560*224像素；