[发明专利]一种基于分布式平台的数据清洗方法及装置

说明书

本发明公开了一种基于分布式平台的数据清洗方法及装置，该方法应用于分布式高效实时处理的系统，用于大数据量级的数据清洗，通过使用分布式处理的方式来解决性能、量级等问题，达到快速处理和实时响应的诉求；通过不断迭代优化满足业务的诉求和清洗的目标，这个过程是交替进行数据探索和规则优化的过程，不断的提高数据质量，解决了以往的集中式处理，无法适应大规模数据运算的问题，充分利用大数据方面的特性完成大数据清洗，并为海量数据分析提供了数据准备，达到满足业务需求的最优，可提高数据清洗性能和处理效率。

技术领域

本发明涉及大数据处理领域，特别涉及一种基于分布式平台的数据清洗方法及装置。

背景技术

数据清洗(Data cleaning)–对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。分布式平台的数据清洗开发，使用STORM、ZOOKEEPER、KAFKA和MONGODB等一系列分布式架构组成数据清洗系统，STORM可以分布式实时计算和处理，KAFKA是一个分布式消息系统，TB级以上数据也能保证正常时间的访问性能、高吞吐率，支持消息分区，及分布式消费，同时也支持离线数据处理和实时数据处理，MONGODB是基于分布式文件存储的开源数据库系统，提供可扩展的高性能数据存储

但是现有技术中数据清洗往往无法适应大规模数据运算，性能慢、处理效率低，且无法到达实时展示。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于分布式平台的数据清洗方法及装置。

第一方面，本发明提供一种基于分布式平台的数据清洗方法，包括：(1)通过数据采集，获取大量数据；

(2)将获取的所述大量数据，根据预设规则解析，生成标准化的数据；

(3)将所述标准化数据按照所对应的业务规则生成唯一标识，根据所述唯一标识进行消重处理；

(4)将所述消重处理后的数据，进行文本清洗；

(5)将所述文本清洗后的数据，调用规则模型，进行分析；

(6)根据所述规则模型输出的数据文本，调用机器学习，进行概率计算，获得权重值；确定所述权重值是否在区间范围内；

(7)确定当所述权重值不在区间范围内时，将所述文本清洗后的数据存储到数据库。

在一个实施例中，所述步骤(1)，包括：

(1.1)根据业务所需，确定采集数据源；

(1.2)根据数据源，确定采集范围、采集规则、采集频率和采集数据的量级，进行数据采集。

在一个实施例中，所述步骤(2)，包括：

(2.1)根据适配正则表达式和/或维表配置对获取的所述大量数据，进行数据处理；

(2.2)数据解析处理，生成格式化的JSON数据。

在一个实施例中，所述步骤(3)，包括：

(3.1)将所述标准化的数据生成唯一标识，每个数据源提供唯一标识生成规则，通过HASH方式生成ID，通过ID消重；

(3.2)清洗大量重复数据。

在一个实施例中，所述步骤(4)，包括：

(4.1)将消重后的数据进行备份；

(4.2)将消重后的数据，根据文本清洗规则，进行文本清洗；

(4.3)将文本清洗的数据存储，并导出排查和优化所述文本清洗规则。