[发明专利]一种通用的网页主题内容提取方法和系统

说明书

本发明特别涉及一种通用的网页主题内容提取方法和系统，方法包括以下步骤：构建目标网页的DOM树，对DOM树的节点进行清理，并按照与正文内容的相关性对剩余节点进行属性标记；遍历DOM树，将DOM树的剩余节点分类缓存；根据各个类别中节点与所述可视标题节点的距离判断所述节点的内容是否为主题内容，并根据判断结果完成对目标网页主题内容的提取。本发明提供了一种更为优化的基于语义的网页信息抽取方法，其基于页面结构上存在的强关联关系，对DOM树的正文可视标题节点进行识别并对其他节点进行分类缓存，然后以DOM树中其他类别节点与正文可视标题节点的距离作为判定节点是否属于主题内容的重要依据，从而提高了网页信息抽取的精度和效率。

技术领域

本发明涉及计算机软件技术领域，具体涉及一种通用的网页主题内容提取方法和系统。

背景技术

当今互联网时代，网络中公开可见的大部分资讯信息是以主题内容的方式进行呈现的，诸如博客中的博文、门户网站的新闻资讯等。这些主题内容是大多数互联网用户获取信息的重要渠道，也是学术研究人员的海量基础语料，并在自然语言处理领域有着重要价值。但是由于许多原因，网络上的主题内容网页并不是由单纯的主题内容组成，还包括了诸如广告、评论、相关推荐以及网站导航等等与主题内容不直接相关的信息。如何从繁杂的网页信息中抽取出网页的主题内容成为一项需要解决的问题。

目前已有的主题内容抽取方式一般分为两种：一种是基于语义的网页信息提取方法，另一种是基于视觉的网页分块方法。以上两种方式都尝试从网页结构中抽取出真正的主题内容所在的信息块。

基于语义的网页信息提取一般有两种方式，第一种方式是基于整个网站的信息进行分析，尝试找到不同网页之间的重复模块，比如导航栏等等，然后在具体分析某一个网页时去除这些重复模块，进而找到主题内容；第二种方式是仅仅依赖当前分析的网页本身，尝试找到HTML中一些块级元素节点，然后分析节点内容的文本信息，比如文本长度，通过比较来获得具有最长文本长度的块级元素。

基于视觉的网页分块方法，尝试通过浏览器引擎渲染整个页面，然后对渲染后的页面进行基于页面元素的背景颜色、字体、边框等等因素进行分块，对关联度较紧密的元素进行合并，而关联度不紧密的元素则视为不同的分块，从而完成整个页面基于视觉的分块重构。基于视觉的网页分块方法有其缺陷，因为这种方式需要在分析基于网页源代码构建的DOM树的同时加载其依赖的CSS(层叠样式表)文件等等，并依赖于浏览器引擎进行渲染，对于海量数据的分析存在速度相对非常慢的问题。

发明内容

本发明提供了一种通用的网页主题内容提取方法和系统，解决了现有技术中网页主题内容提取的精度和效率较低的技术问题。

本发明解决上述技术问题的技术方案如下：一种通用的网页主题内容提取方法，包括以下步骤：

步骤1，构建目标网页的DOM树，对所述DOM树的节点进行清理，并按照与正文内容的相关性对所述DOM树的剩余节点进行属性标记；

步骤2，遍历属性标记后的DOM树，将DOM树的剩余节点分类缓存为图片节点、日期节点、正文文本节点或可视标题节点；

步骤3，根据所述图片节点、所述日期节点以及所述正文文本节点分别与所述可视标题节点的距离判断所述图片节点的内容、所述日期节点的内容以及所述正文文本节点的内容是否为主题内容，并根据判断结果完成对目标网页主题内容的提取，所述主题内容包括正文图片、发布时间和正文。

本发明的有益效果是：本发明提供了一种更为优化的基于语义的网页信息抽取方法，其基于页面结构上存在的强关联关系，对DOM树的正文可视标题节点进行识别并对其他节点进行分类缓存，然后以DOM树中其他类别节点与正文可视标题节点的距离作为判定节点是否属于主题内容的重要依据，从而提高了网页信息抽取的精度和效率。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述步骤1具体包括以下步骤：