[发明专利]一种数据抓取及保存方法、装置、计算机设备及存储介质

说明书

本发明公开了一种数据抓取及保存方法、装置、计算机设备及存储介质，所述数据抓取及保存方法包括在多台数据抓取设备触发数据抓取条件时，抓取数据源中的数据；其中，所述多台数据抓取设备抓取数据的数据源至少有一个为相同数据源；对所述多台数据抓取设备抓取数据的抓取时间进行同步；将所述多台数据抓取设备抓取的数据以及对应的抓取时间以记录的形式保存至数据库中；响应于接收到的数据请求指令，返回所述指定时间对应的记录，或者，获取与所述指定时间最接近的抓取时间对应的记录并返回和/或获取指定时间的推定数据并返回。该方法能够避免出现数据丢失的状况，实现连续、稳定地抓取和保存数据以及对齐数据。

技术领域

本发明涉及数据抓取和保存技术领域，特别涉及一种数据抓取及保存方法、装置、一种计算机可读存储介质及一种计算机设备。

背景技术

目前，大多数数据抓取软件抓取数据的目的在于展示，即将抓取的数据展示到用户界面上供使用者查看，在这种情况下，短期的数据丢失造成的影响不大，也是可以承受的。但是，当抓取数据的目的在于数学建模与数学分析时，即将抓取的数据用于数学建模与数学分析，在这种情况下，数据的连续性对模型的构建将会产生重要影响，因为数据的丢失可能会严重影响建模和分析结果的稳定性和准确性。

而现有技术中，数据抓取端工作于计算机上，受制于计算机系统软硬件限制，无法保证自身长期连续稳定的运行。因此，如何避免数据丢失，优化数据抓取及保存过程以实现连续、稳定地抓取和保存数据是本领域技术人员目前需要解决的技术问题。

发明内容

本发明实施例提供了一种数据抓取及保存方法、装置、一种计算机可读存储介质及一种计算机设备，能够避免数据丢失，优化数据抓取及保存过程以实现连续、稳定地抓取和保存数据。

第一方面，本发明实施例提供了一种数据抓取及保存方法，其包括：

在多台数据抓取设备触发数据抓取条件时，抓取数据源中的数据；其中，所述多台数据抓取设备抓取数据的数据源至少有一个为相同数据源；

对所述多台数据抓取设备抓取数据的抓取时间进行同步；

将所述多台数据抓取设备抓取的数据以及对应的抓取时间以记录的形式保存至数据库中；

响应于接收到的数据请求指令，获取对应指定时间的信息；

根据所述指定时间判断是否可从所述数据库中查找到相应的记录；若是，则直接返回所述指定时间对应的记录，若否，则获取与所述指定时间最接近的抓取时间对应的记录并返回和/或获取指定时间的推定数据并返回。

第二方面，本发明实施例提供了一种数据抓取及保存装置，其包括：

数据抓取模块，用于在多台数据抓取设备触发数据抓取条件时，抓取数据源中的数据；其中，所述多台数据抓取设备抓取数据的数据源至少有一个为相同数据源；

时间同步模块，用于对所述多台数据抓取设备抓取数据的抓取时间进行同步；

保存模块，用于将所述多台数据抓取设备抓取的数据以及对应的抓取时间以记录的形式保存至数据库中；

请求响应模块，用于响应于接收到的数据请求指令，获取对应指定时间的信息；

数据对齐模块，用于根据所述指定时间判断是否可从所述数据库中查找到相应的记录；若是，则直接返回所述指定时间对应的记录，若否，则获取与所述指定时间最接近的抓取时间对应的记录并返回和/或获取指定时间的推定数据并返回。

第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的数据抓取及保存方法。