[发明专利]网页正文内容获取方法、装置、计算机设备及存储介质

权利要求书

1.一种网页正文内容获取方法，其特征在于，包括：

对爬取的待处理网页进行空白部分和文字部分的保留处理以得到预留content内容；

将所述预留content内容进行合并处理以得到第一Block块；

对所述第一Block块进行空白、转义字符的去除处理以得到多个第二Block块；

从所述多个第二Block块中爬取网页标题，并提取位于所述网页标题预设范围内的周围文本；

根据预设规则从所述网页标题和所述周围文本中提取目标的正文内容。

2.根据权利要求1所述的网页正文内容获取方法，其特征在于，所述从所述多个第二Block块中爬取网页标题，并提取位于所述网页标题预设范围内的周围文本，具体包括：

获取所述多个第二Block块的多个长度值，并对所述多个长度值进行比较；

根据比较结果获取长度值为最长的目标Block块；

从所述目标Block块中爬取网页标题，并提取位于所述网页标题预设范围内的周围文本。

3.根据权利要求2所述的网页正文内容获取方法，其特征在于，所述从所述目标Block块中爬取网页标题，并提取位于所述网页标题预设范围内的周围文本，具体包括：

计算所述目标Block块的突升点和突降点；

爬取介于所述突升点和所述突降点的边界内且连续的内容以作为网页标题和周围文本。

4.根据权利要求1-3任一项所述的网页正文内容获取方法，其特征在于，所述根据预设规则从所述网页标题和所述周围文本中提取目标的正文内容，具体包括：

对所述网页标题和所述周围文本进行分词处理，并去掉无实质意义词，以得到待处理正文；

提取所述待处理正文的特征信息；

通过预置算法根据所述特征信息从所述待处理正文中提取目标的正文内容。

5.根据权利要求4所述的网页正文内容获取方法，其特征在于，所述对所述网页标题和所述周围文本进行分词处理，去掉无实质意义词，以得到待处理正文，之前还包括：

将所述网页标题和所述周围文本进行合并处理，其中，所述合并处理为合并到同一数据集合中，或通过预定的关联函数进行映射关联。

6.根据权利要求5所述的网页正文内容获取方法，其特征在于，所述对所述网页标题和所述周围文本进行分词处理，具体包括：

采用字符串匹配分词方法、词义分词方法或统计分词方法将合并处理后的所述网页标题和所述周围文本进行切分。

7.根据权利要求5所述的网页正文内容获取方法，其特征在于，所述通过预置算法根据所述特征信息从所述待处理正文中提取目标的正文内容，具体包括：

通过机器学习算法、人工提炼评分算法或KEA知识进化算法根据所述特征信息从所述待处理正文中提取目标的正文内容。

8.一种网页正文内容获取装置，其特征在于，所述网页正文内容获取装置包括：

预处理模块，用于对爬取的待处理网页进行空白部分和文字部分的保留处理以得到预留content内容；

合并模块，用于将所述预留content内容进行合并处理以得到第一Block块；

去除模块，用于对所述第一Block块进行空白、转义字符的去除处理以得到多个第二Block块；

爬取模块，用于从所述多个第二Block块中爬取网页标题，并提取位于所述网页标题预设范围内的周围文本；

提取模块，用于根据预设规则从所述网页标题和所述周围文本中提取目标的正文内容。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；

所述存储器用于存储计算机程序；

所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至7中任一项所述的网页正文内容获取方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时用于实现如权利要求1至7中任一项所述的网页正文内容获取方法。