[发明专利]一种自然场景图像中的英文文字和数字识别方法

说明书

本发明提供一种自然场景图像中的英文文字与数字识别方法，将自然场景中的英文文字和数字的识别问题分为特征提取，特征聚焦和特征识别三个步骤，利用卷积神经网络对输入图像进行特征提取，注意力机制对特征序列中的有用信息进行聚焦，长短时记忆网络对特征向量进行识别，从而将深度神经网络和注意力机制结合，当输入图像到深度神经网络时，可以直接得出最终的识别结果。本发明不需要对输入图像进行滑窗操作并对窗口中的字符进行识别；同时本发明输出的字符串即为最终的识别结果，不需要合并算法对识别后的字符串进行整合。

技术领域

本发明属于文字识别技术领域，涉及利用深度神经网络和注意力机制进行自然场景图像中的英文文字和数字识别方法。

背景技术

自然场景中的文字往往携带着非常重要的信息，它能够被用来描述该图像的内容。自动地获取图像中的文字信息可以帮助人们更有效地理解图像和对图像进行存储、压缩、检索等处理。相对于自然场景文字检测方法，自然场景文字识别方法是对已经检测出的文字区域进行识别。英文和数字作为一种世界通用语言，在世界各国的场景中广泛出现，识别英文文字和数字意义重大。然而，与手写字符识别不同，自然场景中英文文字与数字的位置、尺寸、字体、光照、视角、外形存在着的多变性，而且自然场景字符的背景也相当复杂，所以自然场景中的英文文字和数字识别存在诸多需要攻克的技术难点。

现有的自然场景文字识别算法通常都是自底而上的算法，见文献[Neumann L,Matas J.'Real-time lexicon-free scene text localization and recognition',IEEETransactions on Pattern Analysis and Machine Intelligence,2015,38,(9),pp.1872-1885]，也就是先利用滑窗操作和传统分类器对图像中的英文文字和数字的每个字符进行识别，由于窗口中不一定出现字符，那么还需要再利用合并算法对这些识别后的字符串进行整合。但是这种方法存在两个局限：1.利用滑窗方法和传统分类器识别字符的准确率并不高；2.字符识别和合并算法是分开训练的，它们各自产生的误差将直接传递到最终的识别结果中，导致文字识别精度不高。

发明内容

本发明的目的在于解决这些局限，将深度神经网络和注意力机制结合，并将结合后的神经网络作为一个整体模型来进行训练和识别，实现在没有滑窗操作的基础上，给定一张包含英文文字和数字的图像直接输出识别结果。

本发明的原理如下：首先，利用在计算机视觉领域广泛应用的卷积神经网络提取输入图像的二维特征矩阵，在卷积神经网络的作用下，矩阵中的每一列代表了输入图像中相应区域的深度特征，按照列方向对二维特征矩阵进行序列化得到特征序列；然后，利用注意力机制提取特征序列中的与字符相关的信息，过滤冗余信息，得出特征向量，所谓注意力机制就是按照人类视觉的观察模式以聚焦的模式观察事物，过滤掉无用信息，是深度学习中常用的模型；最后，利用长短时记忆网络，按照从左到右的空间顺序依次识别图像中的英文文字和数字。

本发明的技术方案是，一种自然场景图像中的英文文字与数字识别方法，针对输入图像为包含英文文字和数字的灰度图像，该方法将深度神经网络和注意力机制结合，并将结合后的神经网络作为一个整体模型来进行训练和识别，实现在没有滑窗操作的基础上，给定一张包含英文文字和数字的图像直接输出识别结果，具体包括下述步骤：