[发明专利]网页内容自动提取方法

摘要

本发明属于网页内容提取技术领域，具体涉及一种网页内容自动提取方法，特别是适用于期刊文献摘要页面内容的提取，包括：S1、将HTML重新渲染；S2、对DOM树进行分割；S3、对侯选视觉块进行预标注；S4、对侯选视觉块进行标注。该方法采用快速傅里叶变换(FFT)和对数盖伯滤波器取代传统视觉算法，降低了时间、空间复杂度，提高了算法的时间、空间效率。

主权项

1.一种网页内容自动提取方法，其特征在于，包括：S1、将HTML重新渲染首先建立HTML文档的DOM树与渲染树，再根据所述DOM树与渲染树对每个视觉块进行重新渲染，将img标签重新渲染成一个任意的几何图形，将p、div、a标签的每一行也重新渲染成一个任意的几何图形；S2、对DOM树进行分割首先、按照广度优先顺序从根结点开始遍历DOM树，直到找到子结点数大于1的结点；对该结点进行横向分割，然后选择该结点下的子结点中方向为纵向的结点；其次、对所述方向为纵向的结点进行一次以上的纵向分割，然后选择该结点下的子结点中视觉块面积最大的结点；最后、对所述视觉块面积最大的结点再进行横向分割，得到若干侯选视觉块；S3、对侯选视觉块进行预标注通过启发式算法或/和关键词频率算法给予每个侯选视觉块对应的预标注标签，所有的预标注标签组成一个预标注标签集合；S4、对侯选视觉块进行标注通过概率图模型对每个候选视觉块进行标注，得到对应的标注标签；将所有的标注标签一一与预标注标签集合匹配，筛选出落在预标注标签集合内的标注标签。