[发明专利]一种基于数据交易的数据清洗系统

摘要

本发明提供一种基于数据交易的数据清洗系统，属于数据交易领域，包括处理模块，在清洗处理时生产日志；信息获取模块，用于从所述多个客户端获取预处理相关信息，根据预设的分类策略对所述预处理相关信息进行分类处理得到分组信息；分配模块，获取所述分组信息和相应的清洗策略信息，根据所述分组信息将同一组的所述源数据分配给同一所述处理单元，多个所述处理单元对所述源数据并行并行处理，每个所述处理单元分别根据所述清洗策略信息对相应的所述源数据进行排序依次进行所述清洗处理；跟踪模块，获取所述日志进行故障处理。本发明的有益效果：提高数据处理效率。

主权项

1.一种基于数据交易的数据清洗系统，其特征在于，包括：/n处理模块，连接所述分配模块，包括多个处理单元，所述处理模块用于对多个客户端的源数据进行清洗处理得到目标数据，每个所述处理单元在进行所述清洗处理时生产日志并输出；/n信息获取模块，用于从所述多个客户端获取预处理相关信息，所述预处理相关信息包括所述客户端的第一相关信息和所述客户端中待处理的所述源数据的第二相关信息，根据预设的分类策略对所述预处理相关信息进行分类处理得到分组信息；/n分配模块，连接所述处理模块和所述信息获取模块，用于获取所述分组信息和相应的清洗策略信息，根据所述分组信息将同一组的所述源数据分配给同一所述处理单元，多个所述处理单元对所述源数据并行并行处理，每个所述处理单元分别根据所述清洗策略信息对相应的所述源数据进行排序依次进行所述清洗处理；/n跟踪模块，连接所述处理模块和所述分配模块，用于获取所述日志，根据所述日志在判断任意一所述处理单元出现清洗故障时和/或任意一源数据出现清洗故障时，向所述分配模块发送报警信息，所述分配模块根据所述报警信息重新进行相关源数据的分配。/n