[发明专利]网页结构化数据的信息提取方法

权利要求书

1.一种网页结构化数据的信息提取方法，其特征在于，包括：

a)对两个给定的结构相同的实例网页的HTML网页代码进行预处理，去除噪音信息；

b)对获取的每个网页信息，根据网页布局标签作为节点，通过布局标签的嵌套关系和层次关系，依次存入子节点，直至最内层的Text Node作为叶子节点，以此构造DOM树，并存入List；

c)对两个DOM树分别进行剪枝重构，把相同分支下叶子节点中的内容合并到一个叶子节点下，删减其余相同的分支；

d)对JSON串进行解析，获取其中包含的对象信息，并存入专门放置对象信息的List中，键名和键值对应存储;

e)对两个DOM重构树分别进行特征路径标记，遍历整棵DOM 重构树，对比其中的叶子节点内容是否与d)中获取的对象信息相同，若相同则记录该叶子节点对应的特征路径；

f)将两个实例网页所查询出的特征路径进行比较，提取其中相同的特征路径，得到正确的目标对象信息的特征路径；若提取到若干相同的特征路径，则增加新的实例网页，重复步骤a)至步骤f),直至筛选得到正确的目标对象信息的特征路径；

g)对与实例网页结构相同的目标网页进行DOM树生成及重构，并进行特征路径标记，遍历整棵目标DOM重构树，对比已获得的目标对象信息的特征路径，判断是否相同，若相同，则输出对应位置的对象内容即目标对象信息；

其中，所述步骤c)的具体步骤如下：

c1：对待剪枝重构的DOM树，从根节点开始，寻找DOM树中第一个子节点数大于1的节点；

c2：对所有子节点两两之间进行判断，如果当前子节点的子节点个数为0且当前两个子节点类型相同，执行剪枝操作；

c3：如果当前子节点的子节点个数不为0，对其子节点树再递归调用DOM树重构算法；

c4:调用递归函数判断子节点树是否相同，如相同，调用递归函数实现对子节点树的剪枝操作，最后得到DOM重构树。

2.根据权利要求1所述的网页结构化数据的信息提取方法，其特征在于，所述步骤e)中特征路径标记包括特征标签路径标记和特征数字路径标记。

3.根据权利要求2所述的网页结构化数据的信息提取方法，其特征在于，特征数字路径标记算法如下：

e1:对待获取特征数字路径的DOM重构树，如果当前节点M的父节点个数不为0，获取并存储其父节点的特征数字路径，并在末尾存储节点M对应的编号数字；

e2:如果当前节点M的父节点个数为0，存储节点M对应的编号数字；

e3：对节点M的所有子节点依次进行如下操作：如果节点M的第i个子节点N的子节点个数不为0,对节点N递归调用特征数字路径标记算法；如果节点M的第i个子节点N的子节点个数为0，获取节点M的特征数字路径并存入节点N的特征数字路径中，并在末尾存储节点N对应的编号数字；

e4：最后得到DOM重构树的特征数字路径。

4.根据权利要求2所述的网页结构化数据的信息提取方法，其特征在于，步骤g)中，先根据已获得的目标对象信息的特征数字路径进行对象的查找和提取，如果根据特征数字路径没有提取到对象内容时，再根据目标对象信息的特征标签路径进行对象的查找和提取。