[发明专利]基于深度学习的文档信息抽取方法及装置

说明书

本发明公开了基于深度学习的文档信息抽取方法及装置，涉及文档信息抽取技术领域；方法包括S1文本检测，处理器获取共享特征向量X的文字区域特征向量；S2文本识别，获取基于文字区域特征向量的注意力图；S3视觉协作机制，根据共享特征向量X的文字区域特征向量获取视觉特征并发送至信息抽取模块；S4语义协作机制，根据基于共享特征向量X的注意力图获取语义特征并发送至信息抽取模块；S5信息抽取，根据视觉特征和语义特征从共享特征向量X中抽取信息；装置包括文本检测模块、文本识别模块、视觉协作机制模块、语义协作机制模块和信息抽取模块共五个程序模块；其通过步骤S1至步骤S5等，实现了从文档图片中检测识别和信息提取。

技术领域

本发明涉及文档信息抽取技术领域，尤其涉及一种基于深度学习的文档信息抽取方法及装置。

背景技术

经过文字识别技术不断的发展，文字识别准确率逐步提升，但是很少有考虑到文档图片到人类所需要获取的信息之间的关系，文字识别技术仅仅是对一章图片中文字机械性的翻译，但是无法提取其中关系和抽取重要信息内容。同时近年来，可视信息抽取技术受到越发广泛的关注。其在如文档理解、信息检索和智能教育等诸多时下热门的任务场景中得到广泛应用。

现有的可视信息抽取方法主要分为两个独立的阶段：

1)文本检测与识别；

2)信息抽取。

前者用来得到图片中所包含的全部文本的位置与内容，而后者在前者提供的结果上，进一步提取出特定类别的关键信息。然而，现存方法的局限性主要在于：

1)尽管文本检测与识别模型已经学习到有效的特征表示，但在信息抽取部分，这些特征被直接丢弃，而又从OCR结果中重新生成。这导致了计算资源的浪费，并且被丢弃的特征可能比重新学习到的更有效。

2)模块间的独立性导致他们的训练过程没有交互，这一方面限制了信息抽取模块所能获得的有用信息量，另一方面也使得文本检测与识别模块无法根据最终目标进行自适应的优化。

现有技术问题及思考：

如何解决从文档图片中检测识别和信息提取的技术问题。

发明内容

本发明所要解决的技术问题是提供一种基于深度学习的文档信息抽取方法及装置，其通过步骤S1至步骤S5等，实现了从文档图片中检测识别和信息提取。

为解决上述技术问题，本发明所采取的技术方案是：基于深度学习的文档信息抽取方法包括如下步骤，S1文本检测，处理器获取共享特征向量X的文字区域特征向量；S2文本识别，处理器获取基于共享特征向量X的文字区域特征向量的注意力图；S3视觉协作机制，处理器根据共享特征向量X的文字区域特征向量获取视觉特征并发送至信息抽取模块；S4语义协作机制，处理器根据基于共享特征向量X的注意力图获取语义特征并发送至信息抽取模块；S5信息抽取，处理器根据视觉特征和语义特征从共享特征向量X中抽取信息。

进一步的技术方案在于：步骤S1具体包括处理器获取原始的文档图片，通过共享主干网络从原始的文档图片的文字区域中提取并获得共享特征向量X，共享主干网络为卷积神经网络，通过第一神经网络从共享特征向量X中获取检测框B、置信度C和掩码M，第一神经网络为由残差神经网络ResNet-50后接特征金字塔网络FPN形成的基于掩码的卷积循环神经网络Mask R-CNN，检测框B为共享特征向量X上的文字区域边框，通过检测框B在共享特征向量X中剪裁并获得共享特征向量X的文字区域特征向量。

进一步的技术方案在于：步骤S2具体包括处理器将共享特征向量X的文字区域特征向量通过第二神经网络编码和第三神经网络解码，从而获得注意力图，第二神经网络为卷积神经网络ResNet-18，第三神经网络为循环神经网络LSTM，注意力图为一维注意力图即识别结果。