[发明专利]网页结构化数据的信息提取方法

说明书

本发明公开了一种网页结构化数据的信息提取方法，首先对网页代码进行预处理，去除噪音信息，根据网页布局标签作为节点，通过布局标签的嵌套关系和层次关系，构造其DOM树，并存入List，通过判断分支是否相同对DOM树进行剪枝，形成DOM重构树；然后通过节点路径对节点进行标记，并对两个网页对应的DOM重构树进行对比，确定目标对象所在的特征路径，并产生相应的包装器，实现自动抽取。本发明能自动快速地处理大量WEB内容，提取到正确信息。

技术领域

本发明属于网络信息处理领域，尤其涉及一种网页结构化数据的信息提取方法。

背景技术

互联网的迅速发展带来了信息的爆炸式增长，Web己经发展为一个巨大的信息仓库，成为日益重要和最具潜力的全球信息传递与共享的资源。然而，想要快速、准确地从海量的资源中找到所需要的信息并被其他程序所应用，就成为了一大难题。因此，需要应用信息抽取技术从大量的半结构化信息中抽取出结构化的、符合主题的数据。由于HTML网页主要是供浏览的，并不是用来供操纵和使用的，其中的数据很难被应用程序直接使用。因此，将数据从网页中抽取出来并且将它们传递给应用程序使用依然是一个复杂、困难但又有意义的任务。

发明内容

有鉴于此，本发明的目的在于提供一种网页结构化数据的信息提取方法，自动快速地处理大量WEB内容，并能提取到正确信息。

为实现上述目的，本发明采用如下技术方案：

一种网页结构化数据的信息提取方法，包括如下步骤：

a)对两个给定的结构相同的实例网页的HTML网页代码进行预处理，去除噪音信息；

b)对获取的每个网页信息，根据网页布局标签作为节点，通过布局标签的嵌套关系和层次关系，依次存入子节点，直至最内层的Text Node作为叶子节点，以此构造DOM树，并存入List；

c)对两个DOM树分别进行剪枝重构，把相同分支下叶子节点中的内容合并到一个叶子节点下，删减其余相同的分支；

d)对JSON串进行解析，获取其中包含的对象信息，并存入专门放置对象信息的List中，键名和键值对应存储；

e)对两个DOM重构树分别进行特征路径标记，遍历整棵DOM 重构树，对比其中的叶子节点内容是否与步骤d)中获取的对象信息相同，若相同则记录该叶子节点对应的特征路径；

f)将两个实例网页所查询出的特征路径进行比较，提取其中相同的特征路径，得到正确的目标对象信息的特征路径；若提取到若干相同的特征路径，则增加新的实例网页，重复步骤a)至步骤f)，直至筛选得到正确的目标对象信息的特征路径；

g)对与实例网页结构相同的目标网页进行DOM树生成及重构，并进行特征路径标记，遍历整棵目标DOM重构树，对比已获得的目标对象信息的特征路径，判断是否相同，若相同，则输出对应位置的对象内容即目标对象信息。

进一步地，所述步骤c)的具体步骤如下：

c1：对待剪枝重构的DOM树，从根节点开始，寻找DOM树中第一个子节点数大于1的节点；

c2：对所有子节点两两之间进行判断，如果当前子节点的子节点个数为0且当前两个子节点类型相同，执行剪枝操作；

c3：如果当前子节点的子节点个数不为0，对其子节点树再递归调用DOM树重构算法；

c4：调用递归函数判断子节点树是否相同，如相同，调用递归函数实现对子节点树的剪枝操作，最后得到DOM重构树。

进一步地，所述步骤e)中特征路径标记包括特征标签路径标记和特征数字路径标记。

进一步地，特征数字路径标记算法如下：