[发明专利]基于标签路径和文本标点比特征融合的网页正文提取方法

说明书

技术领域

本发明涉及数据挖掘、网页分析的技术领域，尤其是指一种基于标签路径和文本标点比特征融合的网页正文提取方法。

背景技术

随着互联网的飞速发展，网络成为了人们获取信息的重要渠道，人们也习惯于在网络中发布各种信息。随之而来的是互联网中的网页和信息量以极高的速度增长。在网页中除了正文信息外，还包含了广告、导航拦等与正文无关的内容。为使用户可以迅速获取有用信息，正文提取方法也应运而生。

网页中包含了大量内容，但仅有有限部分的内容是用户真正需要的，这部分内容称为正文。正文提取的结果可以提高用户的阅读速度和体验，加快用户获取信息的速度，并且提取结果将无关部分剔除后，对后续处理如：新闻推荐、搜索等领域都会产生的积极的影响。典型的正文提取方法存在一些问题：1、需要为不同的网页建立不同的模版；2、当网页结构发生变化后，模板就不再适用；3、采用机器学习方法构造模板需要适用大量的训练网页；4、计算的复杂度未必适用在线系统；5、目前基于特征的提取方法的特征数量、内容较为复杂，或具有较强的针对性；6、当前的提取方法不能同时适用于网页中包含单个正文块和多个正文块的情况；即当前的方法中，未能较大地适应大部分的网页结构。

发明内容

本发明的目的在于克服现有技术的不足，提出了一种基于标签路径和文本标点比特征融合的网页正文提取方法，该方法定义了文本标点比特征对衡量标签路径的平均句子长度，同时结合了标签路径的位置及其内部复杂度，给出了一个较全面的特征值去判断正文内容，使用本发明可以不需要构造提取模版较精确地提取网页正文，适用范围广。

为实现上述目的，本发明所提供的技术方案为：基于标签路径和文本标点比特征融合的网页正文提取方法，包括以下步骤：

1)根据HTML文档建立DOM树，进行预处理；

2)根据步骤1)中建立的DOM树，计算各个标签路径的文本标点比、标签路径深度和标签路径访问次数；

3)通过证据理论将步骤2)中所求得三个标签路径特征，先构造特征TPLR和TPAR，然后融合特征构成一个新的特征值TPDS；

4)根据标签路径访问次数，向TPDS特征添加奖励项，构造特征TPDS+；

5)将步骤4)得出新的标签路径特征值与阈值进行比较，筛选得出正文。

在步骤1)中，将HTML文档转化为DOM树，然后将一些与排版、网页展示无关的标签删除，如果这些标签中包含文字，则将该节点打开，将里面的文字放到该标签的父标签的对应位置中，script标签除外。

在步骤2)中，标签路径的定义为：设T是一颗DOM树，v是DOM树上的一个节点，从树T的根节点到v必存在一条简单路径，由这条简单路径上经过的节点的名称组成的序列为标签路径；

文本标点比计算公式如下：

其中TL为非标点文本长度(Text Length)、PL为标点文本长度(Punctuation Length，PL),TPR_p表示对应标签路径p的文本标点比；

该公式表示标签路径的平均句子长度越长，它是正文内容的可能性就越大；

标签路径访问次数access(p)等于标签路径p下的子节点数量；

标签路径深度deep(p)等于组成标签路径p的节点数。

所述步骤3)包括以下步骤：

3.1)建立文本标点比、标签路径深度和标签路径访问次数三个特征的关系，构造两个新的特征值TPLR、TPAR；

文本标点深度比(TPLR)，计算公式：

该公式反映了标签路径深度的作用，反映了正文部分一般情况下不会出现在标签路径过深的标签下。在深度过大时，降低标签被标记为正文的可能性。

文本标点访问比(TPAR)，计算公式：

该公式反映了标签路径内部复杂度的作用，反映了正文部分应该以文本为主，不包含过度的标签。

3.2)使用证据理论将标签路径的TPLR、TPAR两个特征混合起来。

3.2.1)在特征融合之前需要将特征值转换到一个置信度函数上，设m_faeture(p)为标签路径p的feature特征的置信度函数，W为标签路径的全集，转换公式为：

其中，feature取TPLR和TPAR。

3.2.1)使用证据理论将这两个特征融合，令融合后的特征为TPDS，公式如下：