[发明专利]表单结构提取网络

说明书

一种用于检测和提取文档中准确和精确结构的方法和系统。文档的高分辨率图像被分割成图块集合。每个图块由卷积网络处理，并且随后递归网络集合针对每行和每列进行处理。公开了一种全局查找过程，其允许考虑递归神经网络进行精确评估所需要的“未来的”信息。高分辨率图像的使用允许精确和准确的特征提取，而分割成图块促进在合理的计算资源范围内处理高分辨率图像。

技术领域

本公开涉及用于标识诸如PDF的表单文档的结构和语义的技术。特别地，本公开涉及用于使用深度学习和深度神经网络(“DNN”)来处理文档以提取结构和语义的技术。

背景技术

用于捕获和传播信息的表单的使用已经变得无处不在。通常这些表单还没有被数字化，并且以硬拷贝格式存在。即使表单已经被数字化并且被转换为电子格式，它们也可能仅支持经由特定电子设备(诸如个人计算机)进行交互，但是可能无法在移动设备上访问。自适应表单是一种电子表单，其可以自动适应多种设备上的查看和输入，每种设备具有不同的形状因子，诸如个人计算机、平板计算机、智能手机等。

企业和政府正在进行数字变换，其中移动占据针对所有新出售物的主要数字策略。数字技术的发展趋势是由一系列引人注目的生意和收入激励措施所驱动的。因此，组织需要数字化并且提供多渠道故事。但是，很多现有帐户注册和服务请求流程仍然以纸张为基础。目前，为了实现数字自适应表单技术，企业必须聘用表单/内容作者来手动复制当前的体验并且逐字段建立移动就绪体验，这是耗时的、昂贵的并且需要IT(“信息技术”)技能。

表单中的元素通常布置成层级。例如，文档是顶层元素。在文档下面可以有部分，部分构成层级中的下一层次，依此类推。

字段是另一重要表单结构元素。字段可以包括小组件(widget)和标题(caption)的组合。小组件是表单的区域，其促进和提示用户输入信息。每个小组件可以具有与其关联的标题。标题是可以帮助用户在小组件中提供输入的一段文本或其他信令信息。小组件的示例可以包括小节(section)和选项组。选项组是一组项目，其允许用户经由复选框或单选按钮来选择一个或多个项目。表格是结构元素的另一示例，其还可以包括列标题、行标题和用户可以填写信息的实际小组件。此外，表单通常还包含由段落、文本行和文字构成的文本部分。图像甚至可以被嵌入在表单中。

将纸制表单快速转换为自适应表单的主要问题之一是从图像或类似图像的格式中标识表单文档的结构和语义。一旦表单结构被提取并且其层级属性被捕获，该结构信息可以用于各种目的，诸如创建电子自适应表单等。

机器学习和深度神经网络(“DNN”)已经被应用于文档结构提取。然而，由于使用高分辨率图像的计算成本(例如，对有效信息传播的存储器需求和限制)，用于将DNN应用于从图像提取文档结构的已知方法需要使用较低分辨率输入图像。因此，通常，提供给DNN用于结构提取的输入图像首先从较高分辨率图像下采样。虽然使用较低分辨率文档图像可以解决降低执行表单标识和提取的计算成本的实际问题，但是它也对DNN在文档中引出(elicit)非常精细的结构的能力施加了显著的限制。因此，需要用于使用机器学习和DNN以高计算效率和易处理的方式从高分辨率文档图像中提取文档结构的技术。

附图说明

图1a是描绘根据本公开的实施例的表单结构提取网络的操作的流程图；

图1b是描绘根据本公开的实施例的表单结构提取网络的更详细操作的流程图；

图2a是根据本公开的实施例的表单提取网络的框图；

图2b是根据本公开的实施例的全局查找块216的详细框图；

图2c是根据本公开的实施例的全局查找处理的流程图；

图3a描绘了根据本发明的一个实施例的已经被分割成图块集合的高分辨率图像的一部分的2D RNN处理；

图3b描绘了根据本公开的实施例的用于处理由卷积网络生成的特征图的架构；