[发明专利]页面正文提取方法和装置

权利要求书

1.一种页面正文提取方法，其特征在于，包括：

根据待处理页面的超文本标记语言代码，确定所述待处理页面对应的节点树，其中，所述节点树中的各节点分别为所述待处理页面中的各页面标签；

根据预设的页面标签与权重值映射关系表，确定所述节点树中各节点对应的初始权重值；

根据所述节点树中各节点间的关系及各节点对应的初始权重值，由末端子节点至根节点，依次更新各父节点的权重值；

根据所述节点树中各节点更新后的权重值，确定所述待处理页面中的正文节点；

根据所述正文节点，获取所述页面中的正文；

所述根据预设的页面标签及权重值，确定所述节点树中各节点对应的初始权重值，包括：

根据所述预设的页面标签与权重值映射关系表，确定所述节点树中各节点是否在所述映射关系表中；

若第一节点在所述映射关系表中，则根据所述映射关系表，确定所述第一节点的初始权重值；

若第二节点未在所述映射关系表中，则根据与所述第二节点关联的其它各节点分别对应的初始权重值，确定所述第二节点对应的初始权重值，其中，所述第二节点对应的初始权重值与各关联节点的初始权重值的差值小于阈值。

2.如权利要求1所述的方法，其特征在于，所述根据预设的页面标签与权重值映射关系表，确定所述节点树中各节点对应的初始权重值之前，还包括：

对页面数据库中各页面的超文本标记语言进行解析，确定所述预设的页面标签与权重值映射关系表，其中，所述页面数据库各页面中的标签对应内容类型已知。

3.如权利要求1所述的方法，其特征在于，所述根据预设的页面标签与权重值映射关系表，确定所述节点树中各节点对应的初始权重值之前，还包括：

根据所述待处理页面对应的节点树中各页面标签的类型，确定所述待处理页面对应的映射关系表；

或者，

根据所述待处理页面的统一资源定位符，确定所述待处理页面对应的映射关系表。

4.如权利要求1所述的方法，其特征在于，所述根据待处理页面的超文本标记语言代码，确定所述待处理页面对应的节点树之后，还包括：

删除所述节点树中的元素样式标签、属性标签及脚本标签，以得到所述待处理页面对应的目标节点树；

所述确定所述节点树中各节点对应的初始权重值，包括：

确定所述目标节点树中各节点对应的初始权重值。

5.如权利要求1所述的方法，其特征在于，所述根据与所述第二节点关联的其它各节点分别对应的初始权重值，确定所述第二节点对应的初始权重值之后，还包括：

根据所述第二节点及所述第二节点对应的初始权重值，更新所述预设的页面标签与权重值映射关系表。

6.如权利要求1所述的方法，其特征在于，所述根据所述节点树中各节点更新后的权重值，确定所述待处理页面中的正文节点，包括：

确定更新后的权重值最大的节点为所述待处理页面中的正文节点。

7.如权利要求6所述的方法，其特征在于，所述节点树中包括至少两个更新后的权重值最大的节点；

所述根据所述节点树中各节点更新后的权重值，确定所述待处理页面中的正文节点，包括：

根据所述至少两个更新后的权重值最大的节点在所述节点树中的位置、和/或所述至少两个更新后的权重值最大的节点的初始权重值，确定所述待处理页面中的正文节点。