[发明专利]一种基于递归神经网络的图像文字序列识别系统

说明书

技术领域

本发明涉及图像文字识别领域，特别涉及一种基于递归神经网络的图像文 字序列识别系统。

背景技术

随着社会的发展，产生了大量对古籍、文档、票据、名片等纸质媒体数字 化的需求，这里的数字化不仅仅限于使用扫描仪或者相机进行“照片化”，更重 要的是将这些纸质文件转化成以可读、可编辑的文档来进行存储，实现这一过 程需要对扫描出的图片进行图像文字识别，而传统的图像文字识别为光学文字 识别(OCR)，光学文字识别在将待识别纸质文件扫描成电子图像的基础上进行 识别。但是考虑到扫描效果的好坏、纸质文件本身的品质(别如印刷质量、字 体清晰度，字体规范度等)、内容布局(文字的排列情况，比普通文本与表格文 本和票据)的差异，OCR的实际效果不总是让人满意。而针对不同的纸质文档的 识别准确率的要求有差异，比如票据的识别，对准确率的要求是非常高的，因 为如果一个数字识别错误就可能导致致命的后果，传统的OCR识别不能满足这 样高精度的识别要求。

常规的OCR方法包括了图片的切分，特征提取，单字符识别等处理过程， 其中图片的切分包含了大量的图像预处理过程，比如倾斜矫正，背景去噪，单 字符的提取；这些处理过程不仅繁琐耗时，而且可能使得图片损失很多可用信 息；而且当待识别图片中包含多个文字的字符串时，传统的OCR方法需要将原 字符串切分成若干包含单个文字的小图片进行分别识别，该方法主要存在两大 问题：一、单字符图片的切分困难，特别是字符串中混合了左右偏旁的汉字、 字母、数字、符号，字符具有倾斜、扭曲、粘合，或者图像具有背景噪音等情 况下，切分更加困难。而一旦切分出现了问题，就很难得到准确的识别结果。 二、将字符串切分成包含单个字符的子图片进行识别的分别识别方法，没有充 分利用自然语言中字、词之间的依赖关系，虽然可以使用额外的语言模型对识 别结果进行优化补充，但是考虑到语言模型和识别器的构建过程是相互独立的， 这种方式的优化补充是局部有限的。

面对巨大的识别需要急需一种能够快速高效的图像文字识别工具。

发明内容

本发明的目的在于克服现有技术中所存在的上述不足，提供一种基于递归 神经网络的图像文字序列识别系统。包含卷积神经网络(CNN)和递归神经网 络分类器分类(RNN)，通过CNN对包含多个字符的整个图片进行特征提取， 然后将同样的特征送入RNN进行递归重复使用，以实现连续预测多个字符的目 的。本发明系统实现的图像文字序列识别，系统的克服了OCR识别前先要进行 图片切分的弊端，极大的提高了图像文字的识别效率，同时在进行模型训练过 程中，各个时刻递归神经网络分类器的输入信息包含上一时刻的输出数据和识 别结果，递归神经网络分类器的输出在依赖当前信息的同时也依赖了文字序列 的先前识别结果，在识别当前字或者词的基础上，将字、词之间依赖关系的语 言模型也一并学习得到了，不再需要构建额外的语言模型来对识别的结果进行 优化，在提升字、词序列的识别准确率的同时进一步提高了图像文字的识别效 率。

为了实现上述发明目的，本发明提供了以下技术方案：

一种基于递归神经网络的图像文字序列识别系统，包含图像文字输入模块、 特征提取模块以及递归神经网络分类器，其中所述图像文字输入模块将待识别 图像文字序列输入到所述特征提取模块中；所述特征提取模块将整个待识别图 像文字序列的特征数据提取出来，输入到所述递归神经网络分类器中；所述递 归神经网络分类器根据样本特征数据，上一时刻递归神经网络分类器的输出数 据以及上一时刻递归神经网络分类器识别出的字词转化成的向量数据，依次输 出待识别图像文字序列的识别结果。

进一步的，所述特征提取模块为卷积神经网络。本发明系统中所使用的递 归神经网络分类器的向前算法计算公式如下：