[发明专利]基于聚类的网页内容信息提取方法

说明书

技术领域

本发明属于数据挖掘，具体涉及一种基于聚类的网页内容信息提取方法。

背景技术

随着Web技术的发展，当前Web网页是信息发布的主要载体，因此，Web网页内容信息(包括正文、标题、时间)的抽取一直是热点。然而，在网页内容抽取中存在两个难点：

1.在Web页面中除了需要提取的标题、正文、时间信息外，还包含导航条、广告、推荐链接、版权声明等与主题无关的噪音信息。

2.由于动态脚本和CSS技术的广泛应用，使得网页之间的结构差异性不断增大并且网页自身结构的复杂性不断提高。

针对这两个难点，传统方法提出了基于统计的网页信息提取和基于网页分割的网页信息提取，但都存在一定的局限性。

实际上，HTML页面是存储在后台数据库中的数据和HTML内容模板的结合体，在网站内部的网页大多都是由一套相同的内容模板生成的，因此可以认为网页的设计是有一定规律的。通过这个规律，本发明提出一种新的基于网页聚类的网页信息提取方法，用于抽取Web页面中的标题、正文和时间。

发明内容

本发明的目的是提供一种基于聚类的网页内容信息提取方法。

本发明采用以下技术方案实现：一种基于聚类的网页内容信息提取方法，其特征在于，包括以下步骤：S1:将DOM树中各个块节点的路径作为网页的结构特征，通过前序遍历的方式遍历网页DOM树T_d，提取块节点的路径集合F.f，构成二元组F＝<w,f>来表示网页w的结构特征；最后将输入的网页集合W转化为k个网页的结构特征集合D＝{F₁,F₂,…,F_k}；S2：提取标题；S3：提取时间；S4：据网页结构特征F，计算得到网页之间的相似度，两个页面的相似度函数按照以下公式进行表示：

其中F_i和F_j分别表示第i个网页和第j个网页的结构特征；使用分层聚类算法通过网页相似度计算对一组网页进行聚类，得到聚类结果为n个标记类的网页标记类网页集合M，M＝{C₁,C₂,…,C_n},集合中的每一个元素表示该标记类的特征；S5：对同一标记类的网页提取正文内容的抽取规则。

网页信息抽取中的提取算法普遍存在通用性问题，其次算法大多是提取正文模块，对网页的其它信息没有提出方法。本发明提出了一种基于网页聚类的网页信息提取方法，包括网页的标题、正文和时间。该方法利用对结构相同的网页进行统一的提取操作，来提高网页正文内容抽取的准确率。本发明适用于提取来自同一网站的网页，不需要复杂的计算，简单实用。

附图说明

图1为本发明的主要流程图。

图2为正文内容提取的主要流程图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步解释说明。

一种基于聚类的网页内容信息提取方法，其包括以下步骤：S1:将DOM树中各个块节点的路径作为网页的结构特征，通过前序遍历的方式遍历网页DOM树T_d，提取块节点的路径集合F.f，构成二元组F＝<w,f>来表示网页w的结构特征；最后将输入的网页集合W转化为k个网页的结构特征集合D＝{F₁,F₂,…,F_k}；S2：提取标题；S3：提取时间；S4：据网页结构特征F，计算得到网页之间的相似度，两个页面的相似度函数按照以下公式进行表示：

其中F_i和F_j分别表示第i个网页和第j个网页的结构特征；使用分层聚类算法通过网页相似度计算对一组网页进行聚类，得到聚类结果为n个标记类的网页标记类网页集合M，M＝{C₁,C₂,…,C_n},集合中的每一个元素表示该标记类的特征；S5：对同一标记类的网页提取正文内容的抽取规则。如图1所示本发明流程，分别是提取网页特征后进行网页聚类，通过不同的方法分别的提取网页的标题信息，正文信息，时间信息。最后统一输出提取的结果。

图1中，用户需要输入一个网站中多个页面，通过网页聚类模块得到聚类结果中每个标记类网页的结构特征。针对每个标记类提取其网页正文内容块的特征。当用户输入该网站的网页时，会根据网页的结构特征确定该网页所属的标记类，并利用该标记类网页的信息内容块特征来提取网页中的信息内容。