[发明专利]一种网页表格数据自动抽取方法及装置

说明书

技术领域

本发明涉及互联网页面处理领域，特别涉及一种网页表格数据自动抽取方法及装置。

背景技术

在互联网公开的海量数据中，网页表格数据因其能简洁有效的表达关系信息，往往具有较高的价值。然而网页表格的格式复杂多样，极大地增加了信息抽取的难度。现有的网页表格数据抽取方法，一般是通过网页表格解析器获取含有table标签的DOM树，再结合针对特定页面的过滤规则或通过手工标记来进行表格数据抽取。但这些方法往往存在规则过于简单、只针对特定网页、普适性差等问题，同时也难以处理多table标签嵌套的表格和具有单元格合并的复杂表格。

如专利号为CN201610524342的发明专利公开了一种网页表格信息抽取方法，需要手动输入信息对网页进行解析和定位，抽取效率不佳；专利号为CN201611234018的发明专利公开了一种自适应抽取HTMLTable标签中结构化信息的方法及装置，只能判断同一行或同一列数据类型一致(如都是汉字)的表格布局，而无法判断出无background-color属性，判断表格布局的方法过于简单；专利号为CN201210003480的发明专利公开了一种抽取关系型表格的的方法和装置，通过网页解析器解析出来的DOM树结构，包含所有含有table标签的表格信息，包括table标签里嵌套的table标签，直接使用或过滤都不能获得原有的表格结构，该方法无法处理多table标签嵌套的表格，而且需要计算各行各列间的相似度，以及每行每列各个单元格间的数据类型一致性，这会给系统带来巨大的开销。

此外，还有基于视觉的网页数据抽取方法，如专利号为CN200810056103的发明专利公开了基于视觉的WEB数据抽取系统和方法，但此类方法对视觉识别算法依赖过高，切识别到表格块后，表格的线条格式图片转文字时往往会带来大量乱码，在进行海量数据处理时，实用性不高。

因此，亟需一种网页表格数据自动抽取方法及装置。

发明内容

发明的目的：为解决现有网页表格数据抽取规则简单、无法处理复杂表格、普适性差且抽取效率不佳的技术问题，提供一种网页表格数据自动抽取方法及装置，该方法可实现多table标签嵌套，以及含有合并单元格的复杂web表格数据的自动抽取，无须人工干预，抽取效率高，准确性高，能够为进一步的数据挖掘工作提供有力保障。

为达到上述目的，本发明采用的技术方案是：提供了一种网页表格数据自动抽取方法，包括以下过程：

步骤1：获取含有Table标签的网页内容，并将网页内容解析为DOM树结构；

步骤2：对DOM树结构中含有Table标签的表格数据进行分层，再逐层筛选，直到得到需要处理的表格数据；

步骤3：利用需要处理的表格数据的最大tr数和td数构建表格矩阵，再对需要处理的表格数据进行遍历，遍历时根据规则将表格数据和冗余数据插入表格矩阵中，形成新表格矩阵；

步骤4：逐行读取新表格矩阵，并根据启发式规则得到表头类型和表体行列起始位置；

步骤5：利用表头类型和表体行列起始位置，将新表格矩阵的数据写入数据库。

进一步地，所述步骤2具体包括以下过程：

步骤2.1：将DOM树结构中最外层Table标签作为第一层，将第一层中嵌套的Table标签为第二层，以此类推；

步骤2.2：由外向内逐层对含有Table标签的表格数据进行筛选，若当前层Table标签的内容满足行列数都大于1，则表示当前表格数据为需要处理的表格数据，否则，继续筛选，直至得到需要处理的表格数据。

进一步地，所述步骤3中利用需要处理的表格数据的最大tr数和td数构建表格矩阵，具体为：取需要处理的表格数据中最大tr标签数为行数，取tr标签中最大td数为列数，构建表格矩阵。

进一步地，所述步骤3中遍历时根据如下规则将表格数据和冗余数据插入表格矩阵中：

若出现的td标签含有行和/或列占位属性，则在该标签所对应要占用的表格矩阵单元格的相应位置重复插入该标签所对应的值；

若出现的td标签不含有行和/或列占位属性，则在该标签所对应的表格矩阵单元格的相应位置插入该标签所对应的值。

进一步地，所述步骤4，具体包括以下过程：

步骤4.1：逐行读取新表格矩阵，按照以下规则进行处理：

若第一行中有相同的列值，将第一行与第二行相同列的值进行融合，再判断融合后的行中是否有相同的列值：