[发明专利]一种网页表格数据自动抽取方法及装置

权利要求书

1.一种网页表格数据自动抽取方法，其特征在于，包括以下过程：

步骤1：获取含有Table标签的网页内容，并将网页内容解析为DOM树结构；

步骤2：对DOM树结构中含有Table标签的表格数据进行分层，再逐层筛选，直到得到需要处理的表格数据；

步骤3：利用需要处理的表格数据的最大tr数和td数构建表格矩阵，再对需要处理的表格数据进行遍历，遍历时根据规则将表格数据和冗余数据插入表格矩阵中，形成新表格矩阵；

步骤4：逐行读取新表格矩阵，并根据启发式规则得到表头类型和表体行列起始位置；

步骤5：利用表头类型和表体行列起始位置，将新表格矩阵的数据写入数据库。

2.根据权利要求1所述的网页表格数据自动抽取方法，其特征在于，所述步骤2具体包括以下过程：

步骤2.1：将DOM树结构中最外层Table标签作为第一层，将第一层中嵌套的Table标签为第二层，以此类推；

步骤2.2：由外向内逐层对含有Table标签的表格数据进行筛选，若当前层Table标签的内容满足行列数都大于1，则表示当前表格数据为需要处理的表格数据，否则，继续筛选，直至得到需要处理的表格数据。

3.根据权利要求1所述的网页表格数据自动抽取方法，其特征在于，所述步骤3中利用需要处理的表格数据的最大tr数和td数构建表格矩阵，具体为：取需要处理的表格数据中最大tr标签数为行数，取tr标签中最大td数为列数，构建表格矩阵。

4.根据权利要求1所述的网页表格数据自动抽取方法，其特征在于，所述步骤3中遍历时根据如下规则将表格数据和冗余数据插入表格矩阵中：

若出现的td标签含有行和/或列占位属性，则在该标签所对应要占用的表格矩阵单元格的相应位置重复插入该标签所对应的值；

若出现的td标签不含有行和/或列占位属性，则在该标签所对应的表格矩阵单元格的相应位置插入该标签所对应的值。

5.根据权利要求1所述的网页表格数据自动抽取方法，其特征在于，所述步骤4，具体包括以下过程：

步骤4.1：逐行读取新表格矩阵，按照以下规则进行处理：

若第一行中有相同的列值，将第一行与第二行相同列的值进行融合，再判断融合后的行中是否有相同的列值：

1)融合后的行中有相同的列值，则继续与第三行相同列的值进行融合，若融合的行数大于预设阈值或等于总行数，则判定表头不在行上，疑似为列级表头；

2)融合后的行中没有相同的列值，则疑似为行级表头，将融合后的行作为表头，表头的下一行为表体第一行，即表体起始位置；

若第一行中没有相同的列值，则疑似为行级表头；

步骤4.2：对疑似为行级表头的新表格矩阵进行以下处理：

分别计算表头元素与表体第一行元素、表体第一行元素与表体第二行元素的相似度，得到两个相似度值数组；

将两个相似度值数组中的数据一一进行比对，统计表头元素与表体第一行元素相似度值大于表体第一行元素与表体第二行元素相似度值的数量；若前者数量大于后者，则为行级表头；反之，则疑似列级表头；

步骤4.3：对疑似列级表头的新表格矩阵进行处理，并判断处理结果是否满足无表头键值对类型条件，若满足，则为无表头键值对，若不满足，则为列级表头。

6.一种网页表格数据自动抽取装置，其特征在于，包括：

获取解析模块，用于获取含有Table标签的网页内容，并将网页内容解析为DOM树结构；

预处理模块，用于对DOM树结构中含有Table标签的表格数据进行分层，再逐层筛选，直到得到需要处理的表格数据；

数据处理模块，用于利用需要处理的表格数据的最大tr数和td数构建表格矩阵，再对需要处理的表格数据进行遍历，遍历时根据规则将表格数据和冗余数据插入表格矩阵中，形成新表格矩阵；

自动识别模块，用于逐行读取新表格矩阵，并根据启发式规则得到表头类型和表体行列起始位置；

存储模块，用于利用表头类型和表体行列起始位置，将新表格矩阵的数据写入数据库。