[发明专利]一种基于数据交易的数据清洗系统

权利要求书

1.一种基于数据交易的数据清洗系统，其特征在于，包括：

处理模块，连接分配模块，包括多个处理单元，所述处理模块用于对多个客户端的源数据进行清洗处理得到目标数据，每个所述处理单元在进行所述清洗处理时生产日志并输出；

信息获取模块，用于从所述多个客户端获取预处理相关信息，所述预处理相关信息包括所述客户端的第一相关信息和所述客户端中待处理的所述源数据的第二相关信息，根据预设的分类策略对所述预处理相关信息进行分类处理得到分组信息；

分配模块，连接所述处理模块和所述信息获取模块，用于获取所述分组信息和相应的清洗策略信息，根据所述分组信息将同一组的所述源数据分配给同一所述处理单元，多个所述处理单元对所述源数据并行处理，每个所述处理单元分别根据所述清洗策略信息对相应的所述源数据进行排序依次进行所述清洗处理；

跟踪模块，连接所述处理模块和所述分配模块，用于获取所述日志，根据所述日志在判断任意一所述处理单元出现清洗故障时或任意一源数据出现清洗故障时，向所述分配模块发送报警信息，所述分配模块根据所述报警信息重新进行相关源数据的分配；

所述第一相关信息包括所述客户端的第一标识信息，所述第一标识信息包括所述客户端的客户端数据、操作员数据、所属的机构数据以及历史合作数据；

所述第二相关信息包括所述源数据的第二标识信息，所述第二标识信息包括所述源数据的格式数据、所属的领域数据、所适用的处理策略数据以及历史处理数据。

2.根据权利要求1所述的基于数据交易的数据清洗系统，其特征在于，所述第一相关信息包括所述客户端的第一标识信息，所述第一标识信息包括所述客户端的客户端数据、操作员数据、所属的机构数据以及历史合作数据。

3.根据权利要求2所述的基于数据交易的数据清洗系统，其特征在于，所述第二相关信息包括所述源数据的第二标识信息，所述第二标识信息包括所述源数据的格式数据、所属的领域数据、所适用的处理策略数据以及历史处理数据。

4.根据权利要求3所述的基于数据交易的数据清洗系统，其特征在于，所述历史处理数据包括历史处理速率数据和历史修改数据。

5.根据权利要求4所述的基于数据交易的数据清洗系统，其特征在于，所述信息获取模块将适用同一清洗策略的所述源数据划分为同一组并发送至同一所述处理单元进行所述清洗处理。

6.根据权利要求4所述的基于数据交易的数据清洗系统，其特征在于，所述信息获取模块将适用同一处理速率的数据划分为同一组并发送至同一所述处理单元进行所述清洗处理。

7.根据权利要求4所述的基于数据交易的数据清洗系统，其特征在于，所述信息获取模块将适用同一数据来源类别的数据划分为同一组并发送至同一所述处理单元进行所述清洗处理。

8.根据权利要求1所述的基于数据交易的数据清洗系统，其特征在于，所述处理单元包括客户端处理器和服务端处理器。

9.根据权利要求4所述的基于数据交易的数据清洗系统，其特征在于，所述处理单元分别根据所述清洗策略信息对相应的所述源数据进行排序依次进行所述清洗处理具体包括：

所述处理单元根据每个所述源数据所需的处理时长从大到小依次对所有所述源数据进行排序并依次进行所述清洗处理。

10.根据权利要求4所述的基于数据交易的数据清洗系统，其特征在于，所述处理单元分别根据所述清洗策略信息对相应的所述源数据进行排序依次进行所述清洗处理具体包括：

所述处理单元根据每个所述源数据历史所需的处理时长和客户不满意度从大到小依次对所有所述源数据进行排序并依次进行所述清洗处理。