[发明专利]一种通用的网页主题内容提取方法和系统

摘要

本发明特别涉及一种通用的网页主题内容提取方法和系统，方法包括以下步骤：构建目标网页的DOM树，对DOM树的节点进行清理，并按照与正文内容的相关性对剩余节点进行属性标记；遍历DOM树，将DOM树的剩余节点分类缓存；根据各个类别中节点与所述可视标题节点的距离判断所述节点的内容是否为主题内容，并根据判断结果完成对目标网页主题内容的提取。本发明提供了一种更为优化的基于语义的网页信息抽取方法，其基于页面结构上存在的强关联关系，对DOM树的正文可视标题节点进行识别并对其他节点进行分类缓存，然后以DOM树中其他类别节点与正文可视标题节点的距离作为判定节点是否属于主题内容的重要依据，从而提高了网页信息抽取的精度和效率。

主权项

1.一种通用的网页主题内容提取方法，其特征在于，包括以下步骤：步骤1，构建目标网页的DOM树，对所述DOM树的节点进行清理，并按照与正文内容的相关性对所述DOM树的剩余节点进行属性标记；步骤2，遍历属性标记后的DOM树，将DOM树的剩余节点分类缓存为图片节点、日期节点、正文文本节点或可视标题节点；步骤3，根据所述图片节点、所述日期节点以及所述正文文本节点分别与所述可视标题节点的距离判断所述图片节点的内容、所述日期节点的内容以及所述正文文本节点的内容是否为主题内容，并根据判断结果完成对目标网页主题内容的提取，所述主题内容包括正文图片、发布时间和正文。