[发明专利]一种网页信息抽取的方法和系统

权利要求书

1.一种网页信息抽取方法，其特征在于，所述方法包括：

分析样本页面的DOM结构，获取待抽取信息在所述DOM结构中的位置；

将与所述待抽取信息在所述DOM结构中的位置对应的节点作为目标节点，从所述目标节点出发，遍历预先获取的相对位置信息，获取一个节点并判断其是否为根节点，如果否，继续递归寻找下一个节点，直至找到根节点，形成候选路径，将由此获取的从目标节点到根节点的候选路径作为路径集合；

分析待抽取页面的DOM结构，利用所述路径集合中的路径从根节点出发，定位所述待抽取信息在所述待抽取页面的DOM结构中的位置，获取与所述待抽取信息在所述待抽取页面的DOM结构中的位置对应的节点作为候选抽取节点集合；

从所述候选抽取节点集合中，选出鲁棒性最高的节点作为最终的抽取节点，利用所述抽取节点获取抽取信息。

2.根据权利要求1所述的方法，其特征在于，所述从所述目标节点出发，遍历预先获取的相对位置信息，获取一个节点并判断其是否为根节点，如果否，继续递归寻找下一个节点，直至找到根节点，形成候选路径，将由此获取的从目标节点到根节点的候选路径作为路径集合具体包括：

从目标节点出发，将目标节点设置为当前节点；

遍历预先获取的当前节点的最邻近的相对位置信息，从中选取一个相对位置i对应的节点Bi，判断Bi是否为根节点；

如果经过判断，Bi为根节点，则将此路径添加至路径列表；如果否，将Bi作为当前节点，继续递归寻找下一个节点，直至找到根节点，并将此路径添加到路径列表；

将路径列表中的路径作为路径集合。

3.根据权利2所述的方法，其特征在于，从所述候选抽取节点集合中，选出鲁棒性最高的节点作为最终的抽取节点为：

依照可靠性判断规则，计算候选抽取节点集合中候选抽取节点对应的路径的得分，选出得分最高的路径对应的节点作为最终的抽取节点。

4.根据权利要求1所述的方法，其特征在于，所述从所述目标节点出发，遍历预先获取的相对位置信息，获取一个节点并判断其是否为根节点，如果否，继续递归寻找下一个节点，直至找到根节点，形成候选路径，将由此获取的从目标节点到根节点的候选路径作为路径集合具体包括：

从目标节点出发，将目标节点设置为当前节点；

遍历预先获取的当前节点的最邻近的相对位置信息，从中选取一个相对位置i对应的节点Bi，判断Bi是否为根节点；

如果经过判断，Bi为根节点，则将此路径添加至路径列表；

如果经过判断，Bi不是根节点，则根据可靠性判断规则计算并判断扣分情况，如果扣分没有超过设定阈值，则将Bi节点作为当前节点，继续递归寻找下一个节点，直至下一个节点是根节点，并将此路径添加至路径列表；如果扣分超过阈值，则停止对当前路径的寻找；

把路径列表中的扣分最少的前N条路径保存作为路径集合。

5.根据权利要求1所述的方法，其特征在于，所述从所述目标节点出发，遍历预先获取的相对位置信息，获取一个节点并判断其是否为根节点，如果否，继续递归寻找下一个节点，直至找到根节点，形成候选路径，将由此获取的从目标节点到根节点的候选路径作为路径集合具体包括：

从目标节点出发，将目标节点设置为当前节点；

遍历预先获取的当前节点最邻近的相对位置信息，从中选取一个相对位置i对应的节点Bi，判断Bi是否为根节点；

如果经过判断，Bi为根节点，则将此路径添加至路径列表；如果否，将Bi作为当前节点，继续递归寻找下一个节点，直至找到根节点，并将此路径添加到路径列表；

依据可靠性判断规则对路径列表中找到的所有路径进行扣分，判断路径总扣分是否超过阈值，如果未超过阈值，保存此路径结果；

把扣分最少的前N条路径保存作为路径集合。

6.根据权利要求4或5所述的方法，其特征在于，所述将扣分最少的前N条路径保存作为路径集合，N为预先设定的整数。

7.根据权利要求4或5所述的方法，其特征在于，从所述候选抽取节点集合中，选出鲁棒性最高的节点作为最终的抽取节点为：

从所述候选抽取节点集合中，选出得分最高路径对应的节点作为最终的抽取节点。

8.根据权利要求3至5任意一项所述的方法，其特征在于：

所述可靠性判断规则为相对位置信息规则和/或节点总数规则和/或偏移位置信息规则。