[发明专利]数据收集方法、装置、设备和存储介质

说明书

本发明公开了一种数据收集方法、装置、设备和存储介质。其中，该方法包括根据预设的任务信息表收集至少一个存储节点内的业务数据；删除所述业务数据中的重复数据；将删除重复数据后的所述业务数据作为业务端收集的目标数据。本发明实施例的技术方案，实现了收集的收集，通过任务信息表实现各存储节点同时进行数据处理，提高了数据处理性能，保障了数据的一致性。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据收集方法、装置、设备和存储介质。

背景技术

随着互联网技术的发展，数据已经更为生活中重要的组成部分。随着数据的日益增长，分布式技术应用而生，多个处理节点通过通信线路互联而构成的系统，各个处理节点在地域上分散，可以散布在一个单位、一个城市、一个国家甚至全球范围内，数据在各处理节点内被存储和处理。数据获取装置需要从系统外部采集数据并输入到系统内部。数据收集广泛应用在各个领域，对分布式数据收集的要求也提出了挑战。

传统数据收集方法通常为集中式数据收集和分散集中式数据收集两种，两者的特定如下：1)集中式数据收集是将所有数据都输入到同一个计算机做处理；2)分散集中式数据收集是将数据集输入到不同的几个计算机分布进行处理，各计算机之间的数据收集独立。然而上述两种收集收集方法都存在明显缺点，集中式数据采集，由单点计算机处理，当该计算机出现故障或者超出处理能力时，整个收集系统将无法工作；分散集中式数据采集在集中式数据采集的基础上解决了单点处理的问题，但由于各计算机单独处理无法保证事务的一致性。

发明内容

本发明提供一种数据收集方法、装置、设备和存储介质，以实现海量数据的收集，增强数据处理能力，保证数据的一致性。

第一方面，本发明实施例提供了一种数据收集方法，该方法包括：

根据预设的任务信息表收集至少一个存储节点内的业务数据；

删除所述业务数据中的重复数据；

将删除重复数据后的所述业务数据作为业务端收集的目标数据。

第二方面，本发明实施例提供了一种数据收集装置，该装置包括：

数据读取模块，用于根据预设的任务信息表收集至少一个存储节点内的业务数据；

数据去重模块，用于删除所述业务数据中的重复数据；

数据收集模块，用于将删除重复数据后的所述业务数据作为业务端收集的目标数据。

第三方面，本发明实施提供了一种设备，该设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的数据收集方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，该程序被处理器执行时实现如本发明实施例中任一所述的数据收集方法。

本发明实施例的技术方案，通过预设的任务信息表收集各存储节点内的业务数据，删除所述业务数据中重复数据，将去重后的业务数据作为业务端收集的目标数据，通过任务信息表实现了各存储节点内数据的并行收集，提高了数据处理性能，通过去重操作保障了收集到的目标数据的一致性。

附图说明

图1是本发明实施例一提供的一种数据收集方法的流程图；

图2是本发明实施例二提供的一种数据收集方法的流程图；

图3是本发明实施例二提供的一种数据收集方法的示例图；

图4是本发明实施例三提供的一种数据收集装置的结构示意图；