[发明专利]基于深度学习的场景文本识别方法

说明书

本发明公开了一种基于深度学习的场景文本识别方法，具体按照以下步骤实施：对需要进行场景文本识别的图像P进行处理，利用最大稳定极值区域算法MSER进行文本定位，得到候选文本区域S和该文本区域S的外接矩形G，并进行预处理，将经过预处理后的候选文本区域S输入到训练好的卷积深度置信网络模型中进行特征提取，得到特征矩阵A输入到一个线性的支持向量机中，对候选的文本区域S进行验证，进而过滤掉大量的非文本区域，得到文本区域S′，对其中的字符进行分类识别，然后得到最终的输出。解决了现有技术中存在的自然场景中的文本图像背景复杂、分辨率低和分布随意的问题。

技术领域

本发明属于计算机视觉识别技术领域，尤其涉及一种基于深度学习的自然场景文本识别方法。

背景技术

计算机视觉是人工智能和图像处理领域的一个重要交叉学科。早期的计算机视觉任务的解决方法主要含有两个步骤，一个是手动设计特征，另一个是构建一个浅层学习系统。随着人工智能的发展，深度学习于2006年正式提出。深度学习起源于多层人工神经网络，目前已成功应用于计算机视觉、自然语言处理和智能搜索等领域。当前已有的深度学习网络包括卷积神经网络、深度置信网和卷积深度置信网络等。卷积深度置信网络因结合了深度置信网络在图像高阶特征方面具有的良好性能和卷积神经网络对图像的位移、缩放及其他旋转等变化具有很好的适应性，已广泛应用于图像分类、语音识别和人脸识别等领域。

文本识别技术在虚拟现实、人机交互、图像检索、无人驾驶、车牌识别、工业自动化等领域中有着广泛的应用。传统光字符检测技术(OCR)主要面向高质量的文档图像。此类技术假设输入图像背景干净、字体简单且文字排布整齐，在符合要求的情况下能够达到很高的识别水平。与文档文本识别不同，自然场景中的文本识别则面临着图像背景复杂、分辨率底下、字体多样以及分布随意等挑战，传统光学识别技术在此类情况下几乎无法被应用。

发明内容

本发明的目的是提供一种基于深度学习的场景文本识别方法，解决了现有技术中存在的自然场景中的文本图像背景复杂、分辨率低和分布随意的问题。

本发明所采用的技术方案是，一种基于深度学习的场景文本识别方法，具体按照以下步骤实施：

步骤1，对需要进行场景文本识别的图像P进行处理，利用最大稳定极值区域算法MSER进行文本定位，得到候选文本区域S和该文本区域S的外接矩形G，

步骤2，将步骤1处理得到的定位出的文本区域集合S进行预处理，

步骤3，对卷积深度置信网络进行训练，

步骤4，将经过步骤2预处理后的候选文本区域S输入到步骤3中得到的训练好的卷积深度置信网络模型中进行特征提取，从候选文本区域S中进行学习更多特征矩阵A，

步骤5，将步骤4中学习到的特征矩阵A输入到一个线性的支持向量机中，对候选的文本区域S进行验证，进而过滤掉大量的非文本区域，得到文本区域S′，

步骤6，对步骤5中得到文本区域S′中的字符进行分类识别，

步骤7，将步骤6.2中分类器输出的字符以及每个字符的出现的概率p，根据现有词典库、上下文、字符排布和每个字符最可能出现的概率p等信息对识别结果进行过滤和排序候选结果，得分最高的候选结果被作为最终的输出。

本发明的特点还在于，

所述的步骤1具体按照以下步骤实施：

步骤1.1，利用实验效果最好的Canny算子作为边缘增强的方法，经过边缘增强的最大稳定极值区域能分割因模糊而相连的字符像素和分离字符连通区域中的孔洞，即可得到边缘增强处理的候选文本MSER区域图像Q。

步骤1.2，对候选文本MSER区域图像Q，通过距离经过基于距离变换的改进笔画宽度变换法处理，可以得到各个候选文本MSER区域的笔画宽度映射图W。