[发明专利]网页结构化数据的信息提取方法

摘要

本发明公开了一种网页结构化数据的信息提取方法，首先对网页代码进行预处理，去除噪音信息，根据网页布局标签作为节点，通过布局标签的嵌套关系和层次关系，构造其DOM树，并存入List，通过判断分支是否相同对DOM树进行剪枝，形成DOM重构树；然后通过节点路径对节点进行标记，并对两个网页对应的DOM重构树进行对比，确定目标对象所在的特征路径，并产生相应的包装器，实现自动抽取。本发明能自动快速地处理大量WEB内容，提取到正确信息。

主权项

一种网页结构化数据的信息提取方法，其特征在于，包括如下步骤：a)对两个给定的结构相同的实例网页的HTML网页代码进行预处理，去除噪音信息；b)对获取的每个网页信息，根据网页布局标签作为节点，通过布局标签的嵌套关系和层次关系，依次存入子节点，直至最内层的Text Node作为叶子节点，以此构造DOM树，并存入List；c)对两个DOM树分别进行剪枝重构，把相同分支下叶子节点中的内容合并到一个叶子节点下，删减其余相同的分支；d)对JSON串进行解析，获取其中包含的对象信息，并存入专门放置对象信息的List中，键名和键值对应存储;e)对两个DOM重构树分别进行特征路径标记，遍历整棵DOM 重构树，对比其中的叶子节点内容是否与步骤d)中获取的对象信息相同，若相同则记录该叶子节点对应的特征路径；f)将两个实例网页所查询出的特征路径进行比较，提取其中相同的特征路径，得到正确的目标对象信息的特征路径；若提取到若干相同的特征路径，则增加新的实例网页，重复步骤a)至步骤f)，直至筛选得到正确的目标对象信息的特征路径；g)对与实例网页结构相同的目标网页进行DOM树生成及重构，并进行特征路径标记，遍历整棵目标DOM重构树，对比已获得的目标对象信息的特征路径，判断是否相同，若相同，则输出对应位置的对象内容即目标对象信息。