[发明专利]数据记录总数量获取方法及装置

说明书

本发明公开了一种数据记录总数量获取方法、装置、计算设备及计算机存储介质，其中，该方法包括：步骤1，根据预设起始页码和预设终止页码，确定待抓取页码；步骤2，依据待抓取页码，抓取待抓取页码对应的页面信息；步骤3，根据页面信息的页面特征，判断页面信息是否为目标页面信息；若是，则执行步骤4；若否，则执行步骤5；步骤4，根据目标页面信息以及页面数据记录阈值，计算数据记录总数量，本方法结束；步骤5，根据页面信息的页面特征，对预设起始页码或预设终止页码进行更新处理；而后跳转执行步骤1。根据本发明提供的技术方案，有效地减少了抓取次数，提高了获取数据记录总数量的效率，优化了数据记录总数量获取方式。

技术领域

本发明涉及数据处理技术领域，具体涉及一种数据记录总数量获取方法、装置、计算设备及计算机存储介质。

背景技术

在电商、数字贸易、互联网金融等技术领域中，经常会利用网络爬虫技术抓取同行业各平台所公开的数据记录的数量，得到数据记录总数量，然后对数据记录总数量进行分析，以达到行业分析、风险预警、战略决策等目的。其中，数据记录总数量可以为交易数据记录的总数量或者评论数据记录的总数量等。

有些目标网站并不直接展示数据记录总数量，而是采用动态自动加载的方式逐页显示数据记录，那么就无法通过抓取直接得到数据记录总数量。在这种情况下大多采用遍历抓取法，根据网站展示的数据记录，逐页地进行请求抓取，从第一个页面一直加载到最后一个页面，然后汇总每个页面的数据记录的数量，从而得到数据记录总数量。然而这种抓取方式需要频繁、连续地访问目标网站，不仅增加了被目标网站拒绝访问的风险，而且获取数据记录总数量的效率较低。另外，这种抓取方式的不稳定性较高，其中任何一次请求失败都可能会导致无法获取准确的数据记录总数量。虽然可以在抓取过程中采用并发机制和容错机制，例如多线程、失败重试等策略，但是仍然难以有效避免抓取的不稳定性。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据记录总数量获取方法、装置、计算设备及计算机存储介质。

根据本发明的一个方面，提供了一种数据记录总数量获取方法，包括：

步骤1，根据预设起始页码和预设终止页码，确定待抓取页码；

步骤2，依据待抓取页码，抓取待抓取页码对应的页面信息；

步骤3，根据页面信息的页面特征，判断页面信息是否为目标页面信息；若是，则执行步骤4；若否，则执行步骤5；

步骤4，根据目标页面信息以及页面数据记录阈值，计算数据记录总数量，本方法结束；

步骤5，根据页面信息的页面特征，对预设起始页码或预设终止页码进行更新处理；而后跳转执行步骤1。

根据本发明的另一方面，提供了一种数据记录总数量获取装置，包括：

确定模块，用于根据预设起始页码和预设终止页码，确定待抓取页码；

抓取模块，用于依据待抓取页码，抓取待抓取页码对应的页面信息；

判断模块，用于根据页面信息的页面特征，判断页面信息是否为目标页面信息；

计算模块，用于若判断模块判断得到页面信息为目标页面信息，则根据目标页面信息以及页面数据记录阈值，计算数据记录总数量；

更新模块，用于若判断模块判断得到页面信息不为目标页面信息，则根据页面信息的页面特征，对预设起始页码或预设终止页码进行更新处理；而后运行确定模块。

根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；

存储器用于存放至少一可执行指令，可执行指令使处理器执行上述数据记录总数量获取方法对应的操作。