[发明专利]一种基于分块的网页正文信息提取方法

说明书

本发明提出了一种基于分块的网页正文信息提取方法，包括以下步骤：（1）网页标准化；（2）构造标签树；（3）将网页分割成块；（4）提取含有正文的块。本发明通过对网页进行分块和对内容块的取舍进行信息提取，网页分块采用自底向上分析标签树的自动分块算法，该方法比现有技术更准确，对复杂结构的页面分块效果更好，同时通过块的重要度和块特征分析每个内容块，来提取用户所需信息，准确性高，效果好。

技术领域

本发明涉及数据采集技术领域，具体涉及一种基于分块的网页正文信息提取方法。

背景技术

随着网络资源的不断丰富和网络信息量的不断膨胀，人们对网络的依赖性越来越强，却也给服务对象从浩如烟海的互联网资源中快速找到自己所需的特定资源带来了不便；信息自古就有无限的价值，随着时代的不断发展，人类不知不觉已经来到了信息时代，各行各业都充斥了无数的信息，而信息的价值就在于数据的流通，如果数据能够及时的流通和传递起来，才能发挥信息真正的不可比拟的价值；在市场经济条件下，采集数据已经成为重要的工具和手段。

随着Web的迅速发展，Web的信息越来越丰富。为了更好的使用Web上的信息，人们不断追求能够有效组强和利用网上信息的技术和系统。然页，Web文档不像传统的文本那样整齐、干净，其中包含大量的噪音内容，例如为了增强用户交互性而加入的脚本，为了便于用户浏览而加入的导航链接，以及出于商业因素加入的广告链接等。这些噪音内容不仅影响Web信息检索的效率，而且还导致了检索准确性的下降。

因此，针对上述问题，本发明提出了一种新的技术方案。

发明内容

本发明的目的是提供一种有效地去除噪音干扰，快速提取所需信息内容的基于分块的网页正文信息提取方法。

本发明是通过以下技术方案来实现的：

一种基于分块的网页正文信息提取方法，包括以下步骤：

网页标准化：首先对HTML代码进行预处理，将其标准化；

构造标签树：将整理好的规范网页构造标签树，将网页中的标签按照嵌套关系整理成一棵树状结构，在构造的过程中保留每个节点的视觉属性，同时，对标签树做裁剪，将无关节点删除；

将网页分割成块，依据网页中内容块标签作为容器标签对网页进行划分；

a、通过统计标签树上的各种容器标签的数量进行统计，判断网页是采用哪种容器标签来做布局；

b、考察最底层容器标签节点，将标签树最底层的节点下的所有文本节点合并，并统计该块的信息含量，同时考察视觉特征；

c、考察每个底层节点的上一层节点，并计算该节点的信息含量，判断该节点能否成为分块节点；

提取含有正文的块

分块结束后，对内容块根据用户的不同需要进行取舍，取出含有正文信息的内容块。

进一步地，所述步骤中构造标签树的方法采用DOM标签树构造工具。

进一步地，所述步骤中依据网页中内容块标签作为容器标签对网页进行划分，其它类型的标签信息作为所在内容块的属性。

进一步地，所述视觉特征包括表格的大小、位置、字体的大小和颜色、以及段落的长短。

进一步地，所述步骤中，依据内容块的重要度以及块特征对内容块进行取舍。

进一步地，所述块特征包括空间特征和内容特征，所述空间特征包括内容块的位置和大小，内容特征包括文字长度、链接数量和图片数量。