[发明专利]网页正文内容获取方法、装置、计算机设备及存储介质

说明书

本申请涉及数据采集领域，具体使用了数据爬取技术，采用网络爬虫的方式进行爬取，并公开了一种网页正文内容获取方法、装置、计算机设备及存储介质，对爬取的待处理网页进行空白部分和文字部分的保留处理以得到预留content内容，将所述预留content内容进行合并处理以得到第一Block块，对所述第一Block块进行空白、转义字符的去除处理以得到多个第二Block块，从所述多个第二Block块中爬取网页标题，并提取位于所述网页标题预设范围内的周围文本，根据预设规则提取目标的正文内容。本申请利用网页标题及相关内容的特点，能够实现快速定位正文内容并进行爬取，避免遗漏正文重点信息，提高了爬取的精确度，还减少人工参与的工作量。

技术领域

本申请涉及网络信息获取领域，尤其涉及一种网页正文内容获取方法、装置、计算机设备及存储介质。

背景技术

在网络信息获取的技术领域中，网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎，如传统的通用搜索引擎百度和谷歌等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性，如：

(1)不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。

(2)通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。

(3)万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。

特别地，本技术领域内，针对网页文本爬取工具，只能针对页面全文爬取，或者需要人工提前匹配关键字进行爬取，可能爬取不到重点信息或者遗漏重点信息，因此，现有技术已经无法满足用户的需求。

发明内容

本申请提供了一种网页正文内容获取方法、装置、设备及存储介质，能够利用网页标题及相关内容的特点，能够实现快速定位正文内容并进行爬取，避免遗漏正文重点信息，提高了爬取的精确度，还减少人工参与的工作量，确保获取结果的准确性，保证信息质量满足用户的需求，提高工作效率，促进大数据采集技术的发展，符合和满足技术智能化发展的趋势。

第一方面，本申请提供了一种网页正文内容获取方法，包括：

对爬取的待处理网页进行空白部分和文字部分的保留处理以得到预留content内容；

将所述预留content内容进行合并处理以得到第一Block块；

对所述第一Block块进行空白、转义字符的去除处理以得到多个第二Block块；

从所述多个第二Block块中爬取网页标题，并提取位于所述网页标题预设范围内的周围文本；

根据预设规则从所述网页标题和所述周围文本中提取目标的正文内容。

第二方面，本申请提供了一种网页正文内容获取装置，所述网页正文内容获取装置包括：

预处理模块，用于对爬取的待处理网页进行空白部分和文字部分的保留处理以得到预留content内容；

合并模块，用于将所述预留content内容进行合并处理以得到第一Block块；

去除模块，用于对所述第一Block块进行空白、转义字符的去除处理以得到多个第二Block块；