[发明专利]基于视觉和文本内容的光学字符识别错误校正

说明书

本文描述了一种基于视觉和文本内容促进OCR错误校正的系统。根据实施例，该系统可以包括使用神经网络将扫描的内容划分为块，并将块标记为文本内容和图像内容。该系统可以进一步包括将文本内容转换为词特征矢量。该系统可以进一步包括将图像内容转换为图像特征矢量。

技术领域

本公开总体上涉及光学字符识别(OCR)，并且更具体地涉及基于视觉和文本内容的OCR正确性。

背景技术

光学字符识别(OCR)将键入的图像，手写或打印的文本转换为字符，例如ASCII。对于键入的图像和打印的文本，OCR技术已得到显著改进。但是，对于手写图像，该技术仍在挣扎。在当前的OCR系统中，提取文本信息，而忽略扫描文档的视觉内容(例如照片，图形，图表等)。当处理带有照片和文本的文档时，OCR系统仅分析字符符号，然后将它们转换为字符。但是，当今的OCR系统并未利用所有可用信息来准确地预测和调整提出的词。手写OCR的输出仍然非常差(词级准确性大约为30％)，而文档级准确性大约为70％。可以通过包括图像分析和深度学习来弥补这一差距。

与OCR技术有关的上述背景仅旨在提供一些当前问题的上下文概述，而并非旨在详尽。通过阅读以下详细描述，其他上下文信息可能变得更加明显。

发明内容

下面提供了本说明书的简化概述，以便提供对本说明书某些方面的基本理解。该概述不是对该说明书的详尽概述。它既不旨在标识本说明书的关键或重要元件，也不旨在描述本说明书的特定实施方式的任何范围或权利要求的任何范围。其唯一目的是以简化的形式呈现本说明书的一些概念，作为稍后呈现的更详细描述的序言。

根据一个实施例，系统可以包括存储计算机可执行部件的存储器和执行存储在存储器中的计算机可执行部件的处理器。该计算机可执行部件可以包括图像分类部件，该图像分类部件使用神经网络将扫描的内容划分为块，并将块标记为第一内容和第二内容。计算机可执行部件可以进一步包括第一内容分析部件，其将第一内容转换为词特征矢量。计算机可执行部件可以进一步包括第二内容分析部件，其将第二内容转换为图像特征矢量。

在实施例的一些方面中，第一内容分析部件还包括词构造部件，该词构造部件采用光学字符识别部件识别第一内容的字符来从第一内容构造词。在实施例的一些方面中，第一内容分析部件还包括矢量生成部件，该矢量生成部件将词转换为词特征矢量。在实施例的一些方面中，其中第二内容分析部件采用卷积神经网络将第二内容转换为图像特征矢量。在实施例的一些方面中，计算机可执行部件还包括错误校正部件，该错误校正部件采用多方向长短期存储器模块来识别错误并校正错误。在实施例的一些方面中，计算机可执行部件还包括词生成部件，该词生成部件使用词特征矢量和图像特征矢量来生成最终词。在实施例的一些方面中，词生成部件采用双向长短期存储器模块来学习第一内容和第二内容之间的关联以生成最终词。

根据另一个实施例，一种计算机实现的方法可以包括：通过包括处理器的系统，使用神经网络将扫描的内容划分为块，并将块标记为文本内容和图像内容。该计算机实现的方法可以进一步包括通过系统将文本内容转换为词特征矢量。该计算机实现的方法可以进一步包括通过系统将图像内容转换为图像特征矢量。

根据另一实施例，一种计算机可读存储装置包括指令，该指令响应于执行而使包括处理器的系统执行操作。该操作可以包括使用神经网络将扫描的内容划分为块，并将块标记为文本内容和图像内容。该操作可以进一步包括将文本内容转换成词特征矢量。该操作可以进一步包括将图像内容转换为图像特征矢量。

以下描述和附图阐述了说明书的某些说明性方面。然而，这些方面仅指示可以采用本说明书的原理的各种方式中的几种。当结合附图考虑时，根据以下对说明书的详细描述，本说明书的其他优点和新颖特征将变得显而易见。

附图说明

参考以下附图描述了本公开的非限制性和非穷举性实施例，其中，除非另外指明，否则贯穿各个视图，相同的附图标记指代相同的部分。