[发明专利]一种针对PDF文档表格提取的系统及方法

说明书

本发明公开一种针对PDF文档的表格提取的系统，包括表格特征提取模块、表格定位模块、表格内部结构解析模块；一种针对PDF文档的表格提取的方法，包括：S1、表格特征提取；S2、表格定位；S3、表格内部结构解析；最终表格被划分成了二维网格的结构，对于得到的二维网格化的表格，可以知道每个单元格的位置及大小，将表格使用HTML格式进行输出。本发明考虑了缺省线条以及底色区分单元格等特殊表格形式，能够对PDF表格数据进行高准确率的提取。

技术领域

本发明涉及一种针对PDF文档表格提取的系统及方法，属于信息自动化提取技术领域。

背景技术

随着信息技术的发展以及互联网的普及，信息的交流与共享变得日益方便快捷，大量电子信息数据在互联网中传播，海量的信息数据中蕴藏着丰富的价值，人们也因此面临着“数据爆炸”而“信息缺乏”的问题。如何从这些庞大的电子数据中提取出有效的信息，是一个亟待解决的难题。因此，信息的自动化提取成为大势所趋。

表格提取是信息提取的一个子任务，其目的是理解表格的结构，进而提取表格中信息。由于表格形式的展示效果直观而清晰，所以通常表格存储着文档中经过人工筛选、精炼后的重要数据，是文档中最有价值的一个部分，因此表格提取任务至关重要。然而表格提取任务却并不简单，因为表格的形式多样，特殊情况尤为复杂，导致表格提取的精度往往难以满足人们的需求。

本发明聚焦于PDF(Portable Document Format)文档中的表格提取任务。由于PDF文档具有超强的跨平台性，PDF已经成为当前使用最广泛的电子文档格式之一。然而PDF文档内容的获取开放性却很低，不同于Word、Latex、HTML格式对表格数据有专门的定义或者标记，PDF文档受固有格式的限制，表格只是文字与线条的集合，部分底色区分单元格的表格还可能只是一些形状图片的集合，因此对于PDF文档的表格识别将是一个更大的挑战。

发明内容

本发明技术解决问题：针对PDF文档，由于其格式所限，对表格结构没有特殊的标记，并且表格形式多样，导致表格提取的精度难以满足人们的需求。本发明设计了一种PDF文档表格提取的系统及方法，能够高准确率地提取PDF表格数据，同时考虑了多种表格的形式，使方法的适用性更加广泛。

本发明技术解决方案：一种针对PDF文档的表格提取的系统，包括：表格特征提取模块、表格定位模块、表格内部结构解析模块。其中：

所述的表格特征提取模块：该模块用于提取PDF文档中线条信息；该模块具体包括文字提取子模块和线条提取子模块；

所述的表格定位模块：该模块用于通过外轮廓检测的方法定位表格区域；该模块具体包括基本表格定位子模块、缺省线条表格定位子模块及物体检测定位子模块；

所述的表格内部结构解析模块，该模块用于提取全部单元格、还原表格的内部结构，以及将表格划分成二维网格结构；该模块具体包括基本表格解析子模块、缺省线条表格解析子模块、单元格文字提取子模块、表格二维网格化子模块、表格输出子模块。

一种针对PDF文档的表格提取的方法，具体包括如下步骤：

S1、表格特征提取。考虑到表格存在通过底色区分单元格的形式，使用图像处理的方法提取PDF文档中的线条信息。首先将PDF文档中的文字数据删除，再将消除文字的PDF输出为图像。将图像灰度化、二值化、自适应二值化预处理后，构造水平侵蚀核与垂直侵蚀核，对图像进行先侵蚀后膨胀的组合操作，提取出包含水平与垂直线条的黑白图像，使用霍夫变换线条检测方法提取出全部线条。

S2、表格定位：使用在大型基于图像的表格数据集上训练的物体检测模型预测表格的粗略定位，再通过提取的线条信息，将线条的端点坐标作为表格的精确定位，将表格的外边框补齐，最终通过外轮廓检测的方法定位表格区域。

S3、表格内部结构解析：