[发明专利]页面正文提取方法和装置

说明书

本申请提出一种页面正文提取方法和装置，其中，方法包括：根据待处理页面的超文本标记语言代码，确定待处理页面对应的节点树，其中，节点树中的各节点分别为待处理页面中的各页面标签；根据预设的页面标签与权重值映射关系表，确定节点树中各节点对应的初始权重值；根据节点树中各节点间的关系及各节点对应的初始权重值，由末端子节点至根节点，依次更新各父节点的权重值；根据节点树中各节点更新后的权重值，确定待处理页面中的正文节点；根据正文节点，获取页面中的正文。该方法能够提升提取的页面正文的准确性，提升该页面提取方法的适用性，以及提升页面正文的提取效率。

技术领域

本申请涉及互联网技术领域，尤其涉及一种页面正文提取方法和装置。

背景技术

随着互联网技术的不断发展，网页已经成为人们获取信息的主要来源，而对于网页，往往最有价值的部分是页面正文。然而，对于多数网站的网页而言，其页面不仅包含正文，还包含大量无效的噪声信息，例如广告、头部导航链接、尾部版权信息、插件等，因此，如何对无效噪声信息进行过滤，从而提取出用户感兴趣的正文内容十分重要。

现有技术中，在获取网页正文时，通常是根据网页标签中的内容长度，确定长度最长的标签，进而将长度最长的标签作为正文标签。

但是这种方式，适用的网页类型有限，且长度最长的标签不一定为正文标签，导致提取的正文的准确性较低。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请提出的一种页面正文提取方法和装置，通过基于预设的页面标签与权重值映射关系表，确定正文节点，操作简单且易于实现。并且，不依赖于待处理页面中标签的内容长度，从而可以提升提取的页面正文的准确性。此外，由于无需针对所有的页面去编写抓取规则来提取正文内容，可以提升该页面提取方法的适用性，以及提升页面正文的提取效率。

本申请第一方面实施例提出了一种页面正文提取方法，包括：

根据待处理页面的超文本标记语言代码，确定所述待处理页面对应的节点树，其中，所述节点树中的各节点分别为所述待处理页面中的各页面标签；

根据预设的页面标签与权重值映射关系表，确定所述节点树中各节点对应的初始权重值；

根据所述节点树中各节点间的关系及各节点对应的初始权重值，由末端子节点至根节点，依次更新各父节点的权重值；

根据所述节点树中各节点更新后的权重值，确定所述待处理页面中的正文节点；

根据所述正文节点，获取所述页面中的正文。

本申请实施例的页面正文提取方法，通过根据待处理页面的超文本标记语言代码，确定待处理页面对应的节点树，其中，节点树中的各节点分别为待处理页面中的各页面标签，而后根据预设的页面标签与权重值映射关系表，确定节点树中各节点对应的初始权重值，接着根据节点树中各节点间的关系及各节点对应的初始权重值，由末端子节点至根节点，依次更新各父节点的权重值，最后根据节点树中各节点更新后的权重值，确定待处理页面中的正文节点，根据正文节点，获取页面中的正文。本申请中，通过基于预设的页面标签与权重值映射关系表，确定正文节点，操作简单且易于实现。并且，不依赖于待处理页面中标签的内容长度，从而可以提升提取的页面正文的准确性。此外，由于无需针对所有的页面去编写抓取规则来提取正文内容，可以提升该页面提取方法的适用性，以及提升页面正文的提取效率。

本申请第二方面实施例提出了一种页面正文提取装置，包括：

第一确定模块，用于根据待处理页面的超文本标记语言代码，确定所述待处理页面对应的节点树，其中，所述节点树中的各节点分别为所述待处理页面中的各页面标签；

第二确定模块，用于根据预设的页面标签与权重值映射关系表，确定所述节点树中各节点对应的初始权重值；