[发明专利]一种海外农业PDF文档内容碎片化方法及系统

说明书

本发明公开了一种海外农业PDF文档内容碎片化方法及系统，方法包括：获取海外农业PDF文档，将其转储为图片后输入PDF文档信息提取模型中，检测海外农业PDF文档的碎片化内容；将海外农业PDF文档的碎片化内容进行图像转储进行显示。训练模型的过程包括：获取进行人工标注信息后的PDF文档，将其转储为图片后，采样图片的图像数据根据采样区域的大小与宽高比筛选数据，设置预设大小与宽高比组合的锚框，根据预设方法确定与真实边框最接近的锚框作为匹配锚框；标注每个匹配锚框的类别，输入卷积神经网络中进行训练，将训练好的卷积神经网络作为PDF文档信息提取模型。本发明可以在训练样本的基础上对各种不同版式的PDF文档内容进行识别、分类和标注，兼容性较好。

技术领域

本发明涉及文档信息检测领域，具体涉及一种海外农业PDF文档内容碎片化方法及系统。

背景技术

随着全球数字化和信息化的发展，电子文档大量产生给人们生活带来了翻天覆地的变化，在许多领域和应用场景下也逐渐取代了纸质文档成为人们主要的阅读和处理的对象。在进行海外农业研究以及开展农业对外合作时，不同国家的国别指南、政策法规、生产贸易等文献资源是重要的参考资料，为农业“走出去”、“引进来”以及相关研究提供重要的信息支撑。此类文献资源大多是来自于海外网站的电子文档，且篇幅长，内容杂，给相关政府决策部门、科研人员以及企业用户带来极大的信息获取的障碍。因此，传统的基于整篇文档为粒度的信息单元进行检索查询、组织揭示、发布展示无法很好地满足人们对于文献查阅文献效率和精度要求，显露出诸多不足之处。因此，以碎片化文档的形式进行检索、组织、存储和展现的方式应运而生，基于碎片化文档为粒度的信息单元具有三个潜在特性：(1)实现海外农业信息资源的精准发现。用户在检索时，检索结果可以直接定位到一个碎片文档(可能是一个章节、一个图表或者一个段落)，从而更加精准地发现自己需要的信息，实现有针对性的轻量化阅读；(2)为实现碎片内容的计算挖掘、动态重组做准备。碎片化以后的片段文档一方面可以作为知识计算与挖掘的语料，消除了以整篇文档进行挖掘计算颗粒度太粗而导致结果误差较大，计算结果不理想的障碍；另一方面，对碎片化文档进行组织揭示，意味着突破了传统的基于整篇文档组织揭示的方法和深度，对文献进行更加细粒度的组织，并且能够按照新的知识组织体系进行重组，形成新的文档，满足用户多元化利用的需求。(3)更加适应多元化的阅读需求。碎片化之后更方便在多个终端阅读，速度更快，解决以往PDF打开或者阅读器打开慢，多终端不便阅读的问题。

在海外农业文献资源的电子文档中，大部分是以PDF格式存储的。现有两种对PDF文档进行碎片化方法：1、人工通过工具标注标题、段落、公式、图片、表格等碎片化信息，虽然该方法能最大程度保证碎片化结果的正确性，但是因为不能脱离人工干预，在大数据的今天是很难实现的；2、通过自动化程序解析PDF内字体、字号、位置、区域部元素信息，自动拼装成标题、段落、公式、图片、表格等碎片化信息，虽然该方法能在一定程度上缓解人工干预的程度，但是由于拼接元素信息缺少通用的方法，无法兼容各种不同版式的PDF文档。

发明内容

因此，本发明提供的一种训练PDF文档信息提取模型及海外农业PDF文档内容碎片化方法及系统，克服了现有技术中不能对不同版式的PDF进行碎片化信息提取的缺陷。

第一方面，本发明实施例提供训练PDF文档信息提取模型的方法，包括如下步骤：获取进行人工标注信息后的PDF文档；将标注后的PDF文档转储为图片；采样图片的图像数据，根据采样区域的大小与宽高比筛选数据，设置预设大小与宽高比组合的锚框，根据预设方法确定与真实边框最接近的锚框，作为匹配锚框；标注每个匹配锚框的类别；将标注类别的匹配锚框输入卷积神经网络中进行训练，将训练好的卷积神经网络作为PDF文档信息提取模型。

在一实施例中，人工标注的信息包括PDF文档中标题、段落、公式、图片及表格。