[发明专利]一种web网页的正文内容提取方法、装置、设备及介质

权利要求书

1.一种web网页的正文内容提取方法，其特征在于，包括：

根据目标web网页的源代码确定出与所述目标web网页对应的DOM树；其中，所述DOM树的叶子节点表示所述目标web网页中的网页内容；

按照预设规则对各所述网页内容进行监听埋点，并统计用户对各所述网页内容的操作信息；

利用预先训练出的决策树根据文本密度规则、所述目标web网页的页面布局、各所述网页内容对应的操作信息分别判断各所述网页内容是否为正文内容，提取出所述目标web网页的正文内容。

2.根据权利要求1所述的方法，其特征在于，在所述根据目标web网页的源代码确定出与所述目标web网页对应的DOM树之后，进一步包括：

判断所述网页内容中是否存在敏感词汇；

若是，则发出对应的提示信息。

3.根据权利要求1所述的方法，其特征在于，所述统计用户对各所述网页内容的操作信息具体包括：

统计所述用户浏览各所述网页内容的时间长度和/或所述用户对各所述网页内容的点选操作的次数和/或所述用户在各所述网页内容上进行的输入操作的次数。

4.根据权利要求1所述的方法，其特征在于，在所述根据目标web网页的源代码确定出与所述目标web网页对应的DOM树之后，进一步包括：

对所述DOM树中的网页内容进行数据清洗操作。

5.根据权利要求3所述的方法，其特征在于，在所述按照预设规则对各所述网页内容进行监听埋点，并统计用户对各所述网页内容的操作信息之后，进一步包括：

确定出所述用户浏览时间最长和/或输入操作次数最多的目标网页内容；

将所述目标网页内容进行突出显示。

6.根据权利要求2所述的方法，其特征在于，进一步包括：

记录存在所述敏感词汇的所述目标web网页的网址。

7.根据权利要求1至6任一项所述的方法，其特征在于，进一步包括：

根据所述文本密度规则、所述页面布局、所述网页内容和对应的操作信息确定出所述目标web网页的网页类型。

8.一种web网页的正文内容提取装置，其特征在于，包括：

设置模块，用于根据目标web网页的源代码确定出与所述目标web网页对应的DOM树；其中，所述DOM树的叶子节点表示所述目标web网页中的网页内容；

统计模块，用于按照预设规则对各所述网页内容进行监听埋点，并统计用户对各所述网页内容的操作信息；

提取模块，用于利用预先训练出的决策树根据文本密度规则、所述目标web网页的页面布局、各所述网页内容对应的操作信息分别判断各所述网页内容是否为正文内容，提取出所述目标web网页的正文内容。

9.一种web网页的正文内容提取设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的web网页的正文内容提取方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的web网页的正文内容提取方法的步骤。