[发明专利]一种针对实际OCR场景下的视觉富文档信息抽取方法

说明书

本发明公开了一种针对实际OCR场景下的视觉富文档信息抽取方法，方法包括以下步骤：收集实际场景下的视觉富文本图像；利用预训练词嵌入模型抽取字符级别和单词级别的文本词嵌入特征和位置嵌入特征；训练命名实体分类模块；构建基于图卷积GAT的全局文档图结构，引入自注意力机制；训练命名实体边界定位模块；构建多特征聚合结构；训练错误语义纠正模块，采用GRU的解码结构，根据CRF的最优路径，取出对应维度特征的编码隐状态，通过将命名实体的类别信息，作为先验指导信息，指导每次解码器的输出，得到规范格式的实体命名信息。本发明有效提升了视觉富文档信息抽取方法在实际OCR检测识别应用中的精度，对视觉富文档信息的结构化存储具有重要的意义。

技术领域

本发明属于视觉信息抽取技术领域，具体涉及一种针对实际OCR场景下的视觉富文档信息抽取方法。

背景技术

视觉信息抽取(VIE)作为自然语言处理(NLP)的重要组成部分，旨在直接从非结构化文档图像中抽取结构化信息，这是理解文档图像的关键步骤。抽取的结构化信息广泛应用于多种场合，例如快速索引、高效归档和文档分析，典型的方法是将信息抽取问题公式化为顺序标记问题。近年来，关于从文档图像(如发票、ID卡和购买收据等)中抽取信息成为了研究热点。

由于字形、文本位置、布局和字体大小等视觉特征是从文档图像中抽取信息的重要线索，因此许多方法将文档图像合并到顺序标记模型中，与仅使用纯文本相比得到了更好的结果，然而，现有研究大多假定OCR(光学字符识别)结果是准确的，无法应对有缺陷的OCR结果的情况。另一方面，实现文档图像的无错误OCR预测非常复杂，在有缺陷的OCR结果中无法直接将人工标注的定位框用于信息抽取，这是因为有缺陷的OCR结果通常包含大量重复或遗漏的内容，这直接影响VIE模型的性能。此外，融合文本段位置的VIE系统将面临命名实体边界不清晰的问题，这将导致大量后期处理以获得最终正确的结果。尽管VIE模型应该考虑人类注释不能完全匹配OCR结果的问题，但作为OCR的下游任务，它在以前的研究中经常被忽略。因此，需要一种针对实际OCR情况下的视觉信息抽取方法，克服上述缺点并将信息抽取应用于实际生产生活的需要。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提出一种针对实际OCR场景下的视觉富文档信息抽取方法，方法有效提升了视觉富文档信息抽取方法在实际OCR检测识别应用中的精度，对视觉富文档信息的结构化存储具有重要的意义。

为了达到上述目的，本发明采用以下技术方案：

一种针对实际OCR场景下的视觉富文档信息抽取方法，包括以下步骤：

收集实际场景下的视觉富文本图像，对搜集的图像进行文本行位置、文本内容以及命名实体属性的标注，采用启发式的方法标注命名实体标签，利用检测识别方法得到OCR结果；

利用预训练词嵌入模型抽取字符级别和单词级别的文本词嵌入特征和位置嵌入特征；

训练命名实体分类模块，按照命名实体识别任务的方式生成每个字符的命名实体属性标签，训练过程中采用交叉熵分类损失函数训练；

构建基于图卷积GAT的全局文档图结构，引入自注意力机制构建全连接有向图；

训练命名实体边界定位模块，命名实体边界定位模块的训练标签根据命名实体分类模块的标签生成，根据每个字符的命名实体属性标注情况，将命名实体的第一个字符和最后一个字符设置为命名实体的边界，其他的设置为非边界；

构建多特征聚合结构，对命名实体分类概率和命名实体边界定位概率做加权和，得到命名实体维度的预测结果，并采用条件随机场CRF结构对预测结果做上下文的约束；

训练错误语义纠正模块，错误语义纠正模块采用GRU的解码结构，根据CRF的最优路径，取出对应维度特征的编码隐状态，通过将命名实体的类别信息，作为先验指导信息，指导每次解码器的输出，最终得到规范格式的实体命名信息。