[发明专利]一种基于数据交易的数据清洗系统

说明书

本发明提供一种基于数据交易的数据清洗系统，属于数据交易领域，包括处理模块，在清洗处理时生产日志；信息获取模块，用于从所述多个客户端获取预处理相关信息，根据预设的分类策略对所述预处理相关信息进行分类处理得到分组信息；分配模块，获取所述分组信息和相应的清洗策略信息，根据所述分组信息将同一组的所述源数据分配给同一所述处理单元，多个所述处理单元对所述源数据并行并行处理，每个所述处理单元分别根据所述清洗策略信息对相应的所述源数据进行排序依次进行所述清洗处理；跟踪模块，获取所述日志进行故障处理。本发明的有益效果：提高数据处理效率。

技术领域

本发明涉及数据交易技术领域，尤其涉及一种基于数据交易的数据清洗系统。

背景技术

目前，大数据交易过程中产生大量的需要进行清洗处理的源数据，当数据中心服务端从客户端获取到源数据后，需要对源数据进行同一的清洗处理，数据传输和处理量很大，数据清理效率较低。

发明内容

针对现有技术中存在的问题，本发明涉及一种基于数据交易的数据清洗系统。

本发明采用如下技术方案：

一种基于数据交易的数据清洗系统，包括：

处理模块，连接所述分配模块，包括多个处理单元，所述处理模块用于对多个客户端的源数据进行清洗处理得到目标数据，每个所述处理单元在进行所述清洗处理时生产日志并输出；

信息获取模块，用于从所述多个客户端获取预处理相关信息，所述预处理相关信息包括所述客户端的第一相关信息和所述客户端中待处理的所述源数据的第二相关信息，根据预设的分类策略对所述预处理相关信息进行分类处理得到分组信息；

分配模块，连接所述处理模块和所述信息获取模块，用于获取所述分组信息和相应的清洗策略信息，根据所述分组信息将同一组的所述源数据分配给同一所述处理单元，多个所述处理单元对所述源数据并行并行处理，每个所述处理单元分别根据所述清洗策略信息对相应的所述源数据进行排序依次进行所述清洗处理；

跟踪模块，连接所述处理模块和所述分配模块，用于获取所述日志，根据所述日志在判断任意一所述处理单元出现清洗故障时和/或任意一源数据出现清洗故障时，向所述分配模块发送报警信息，所述分配模块根据所述报警信息重新进行相关源数据的分配。

优选的，所述第一相关信息包括所述客户端的第一标识信息，所述第一标识信息包括所述客户端的客户端数据、操作员数据、所属的机构数据以及历史合作数据。

优选的，所述第二相关信息包括所述源数据的第二标识信息，所述第二标识信息包括所述源数据的格式数据、所属的领域数据、所适用的处理策略数据以及历史处理数据。

优选的，所述历史处理数据包括历史处理速率数据和历史修改数据。

优选的，所述信息获取模块将适用同一清洗策略的所述源数据划分为同一组并发送至同一所述处理单元进行所述清洗处理。

优选的，所述信息获取模块将适用同一处理速率的数据划分为同一组并发送至同一所述处理单元进行所述清洗处理。

优选的，所述信息获取模块将适用同一数据来源类别的数据划分为同一组并发送至同一所述处理单元进行所述清洗处理。

优选的，所述处理单元包括客户端处理器和服务端处理器。

优选的，所述处理单元分别根据所述清洗策略信息对相应的所述源数据进行排序依次进行所述清洗处理具体包括：

所述处理单元根据每个所述源数据所需的处理时长从大到小依次对所有所述源数据进行排序并依次进行所述清洗处理。

优选的，所述处理单元分别根据所述清洗策略信息对相应的所述源数据进行排序依次进行所述清洗处理具体包括：