[发明专利]数据收集方法、装置、设备和存储介质

权利要求书

1.一种数据收集方法，其特征在于，包括：

根据预设的任务信息表收集至少一个存储节点内的业务数据，包括：将所述任务信息表存储到各所述存储节点内，并提取所述任务信息表中的数据读取接口和读取频率；按照所述读取频率在所述存储节点内调用所述数据读取接口读取所述业务数据；

删除所述业务数据中的重复数据，包括：将所述业务数据读取到缓存数据集群，并获取所述业务数据的数据标识；若在所述缓存数据集群内查找到所述数据标识，则将所述业务数据丢弃，否则，将所述业务数据存储到所述缓存数据集群；

将删除重复数据后的所述业务数据作为业务端收集的目标数据。

2.根据权利要求1所述的方法，其特征在于，在所述根据预设的任务信息表收集至少一个存储节点内的业务数据之前，还包括：

根据业务端发送的数据获取请求建立任务信息表。

3.根据权利要求1-2中任一所述的方法，其特征在于，所述任务信息表中任务信息至少包括数据读取接口和读取频率中一种。

4.根据权利要求1所述的方法，其特征在于，所述存储节点内包括至少一个数据读取接口，所述数据读取接口根据数据类型读取业务数据。

5.根据权利要求1所述的方法，其特征在于，在所述删除所述业务数据中的重复数据之前，还包括：

通过流处理队列汇总业务数据，其中，所述业务数据对应至少两个所述存储节点。

6.一种数据收集装置，其特征在于，包括：

数据读取模块，用于根据预设的任务信息表收集至少一个存储节点内的业务数据；所述数据读取模块，包括：信息提取单元，用于将所述任务信息表存储到各所述存储节点内，并提取所述任务信息表中的数据读取接口和读取频率；任务执行单元，用于按照所述读取频率在所述存储节点内调用所述数据读取接口读取所述业务数据；

数据去重模块，用于删除所述业务数据中的重复数据；所述数据去重模块包括：标识获取单元，用于将所述业务数据读取到缓存数据集群，并获取所述业务数据的数据标识；数据去重单元，用于若在所述缓存数据集群内查找到所述数据标识，则将所述业务数据丢弃，否则，将所述业务数据存储到所述缓存数据集群；

数据收集模块，用于将删除重复数据后的所述业务数据作为业务端收集的目标数据。

7.一种数据收集设备，其特征在于，包括:

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的数据收集方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的数据收集方法。