[发明专利]网页内容自动提取方法

说明书

本发明属于网页内容提取技术领域，具体涉及一种网页内容自动提取方法，特别是适用于期刊文献摘要页面内容的提取，包括：S1、将HTML重新渲染；S2、对DOM树进行分割；S3、对侯选视觉块进行预标注；S4、对侯选视觉块进行标注。该方法采用快速傅里叶变换(FFT)和对数盖伯滤波器取代传统视觉算法，降低了时间、空间复杂度，提高了算法的时间、空间效率。

技术领域

本发明属于网页内容提取技术领域，具体涉及一种网页内容自动提取方法，特别是适用于期刊文献摘要页面内容的提取。

背景技术

随着信息技术的发展，互联网在信息获取中的重要性正与日俱增。互联网也是科研工作者获取最新发表文献的有效途径。学术期刊出版商(Elsevier、Wiley、TaylorFrancis等)在主站提供期刊文献摘要页面。从这些摘要页面提取作者、发表时间、摘要等信息是建立整合数据库的要点，也是难题。

网页内容提取技术是信息提取(Information Extraction)领域一直以来的热点问题。现有的方法大致可以分为三类：一是基于模板的方法，这种方法根据网页元素的xpath、css表达式进行提取，具有准确性强的优点，但创建模板需要消耗大量人力，大量模板难于维护，且对网页结构的改变鲁棒性差；二是基于DOM树的方法，这类方法将网页解析为DOM树，通过监督或半监督的学习方法，将目标网页与标注页面进行树结构匹配(alignment)或部分匹配(partial alignment)，对目标页面进行标注，进而提取网页内容，这类方法效率不高(Shing-Ling算法时间复杂度与树的深度成正比)，并且需要多个由同一模板生成的页面作为输入；三是基于视觉信息的方法，比如微软亚洲研究院提出的VIPS页面分割算法。这类方法将页面按照背景颜色、文字密度、字体等线索(cue)分割成若干视觉块(visual block)，通过支持向量机(SVM)或神经网络模型学习得到各视觉块重要性指数，进而提取网页正文内容；这种方法时间、空间复杂度均较高，且依赖于人为制定的规则，对于新型网页模板鲁棒性差。

发明内容

针对上述技术问题，本发明的目的在于提供一种网页内容自动提取方法，该方法采用快速傅里叶变换(FFT)和对数盖伯滤波器取代传统视觉算法，降低了时间、空间复杂度，提高了算法的时间、空间效率。

为实现上述目的，本发明所采取的技术方案是：

一种网页内容自动提取方法，其特征在于，包括：

S1、将HTML重新渲染

首先建立HTML文档的DOM树与渲染树，再根据所述DOM树与渲染树对每个视觉块进行重新渲染，将img标签重新渲染成一个任意的几何图形，将p、div、a标签的每一行也重新渲染成一个任意的几何图形；

S2、对DOM树进行分割

首先、按照广度优先顺序从根结点开始遍历DOM树，直到找到子结点数大于1的结点；对该结点进行横向分割，然后选择该结点下的子结点中方向为纵向的结点；

其次、对所述方向为纵向的结点进行一次以上的纵向分割，然后选择该结点下的子结点中视觉块面积最大的结点；

最后、对所述视觉块面积最大的结点再进行横向分割，得到若干侯选视觉块；

S3、对侯选视觉块进行预标注

通过启发式算法或/和关键词频率算法给予每个侯选视觉块对应的预标注标签，所有的预标注标签组成一个预标注标签集合；

S4、对侯选视觉块进行标注

通过概率图模型对每个候选视觉块进行标注，得到对应的标注标签；将所有的标注标签一一与预标注标签集合匹配，筛选出落在预标注标签集合内的标注标签。

作为优选，所述DOM树与渲染树只包含img、p、div、a标签。