[发明专利]一种基于分布式平台的数据清洗方法及装置

摘要

本发明公开了一种基于分布式平台的数据清洗方法及装置，该方法应用于分布式高效实时处理的系统，用于大数据量级的数据清洗，通过使用分布式处理的方式来解决性能、量级等问题，达到快速处理和实时响应的诉求；通过不断迭代优化满足业务的诉求和清洗的目标，这个过程是交替进行数据探索和规则优化的过程，不断的提高数据质量，解决了以往的集中式处理，无法适应大规模数据运算的问题，充分利用大数据方面的特性完成大数据清洗，并为海量数据分析提供了数据准备，达到满足业务需求的最优，可提高数据清洗性能和处理效率。

主权项

1.一种基于分布式平台的数据清洗方法，其特征在于，包括步骤：(1)通过数据采集，获取大量数据；(2)将获取的所述大量数据，根据预设规则解析，生成标准化的数据；(3)将所述标准化数据按照所对应的业务规则生成唯一标识，根据所述唯一标识进行消重处理；(4)将所述消重处理后的数据，进行文本清洗；(5)将所述文本清洗后的数据，调用规则模型，进行分析；(6)根据所述规则模型输出的数据文本，调用机器学习，进行概率计算，获得权重值；确定所述权重值是否在区间范围内；(7)确定当所述权重值不在区间范围内时，将所述文本清洗后的数据存储到数据库。