[发明专利]一种基于分布式平台的数据清洗方法及装置

权利要求书

1.一种基于分布式平台的数据清洗方法，其特征在于，包括步骤：

(1)通过数据采集，获取大量数据；

(2)将获取的所述大量数据，根据预设规则解析，生成标准化的数据；

(3)将所述标准化的数据按照所对应的业务规则生成唯一标识，根据所述唯一标识进行消重处理；

(4)将所述消重处理后的数据，进行文本清洗；

(5)将所述文本清洗后的数据，调用规则模型，进行分析；

(6)根据所述规则模型输出的数据文本，调用机器学习，进行概率计算，获得权重值；确定所述权重值是否在区间范围内；

(7)确定当所述权重值不在区间范围内时，将所述文本清洗后的数据存储到数据库；

所述步骤(6)，包括：

(6.1)将所述规则模型输出的数据文本，调用机器学习的算法，进行概率计算，得到权重值；

(6.2)根据权重值判断所述权重值对应的数据是否需要清洗；

(6.3)将所述机器学习的结果和清洗的数据存储，导出排查和优化机器学习规则；

(6.4)导出未清洗的数据进行训练机器学习，并优化机器学习。

2.如权利要求1所述的基于分布式平台的数据清洗方法，其特征在于，所述步骤(1)，包括：

(1.1)根据业务所需，确定采集数据源；

(1.2)根据数据源，确定采集范围、采集规则、采集频率和采集数据的量级，进行数据采集。

3.如权利要求1所述的基于分布式平台的数据清洗方法，其特征在于，所述步骤(2)，包括：

(2.1)根据适配正则表达式和/或维表配置对获取的所述大量数据进行数据处理；

(2.2)数据解析处理，生成格式化的JSON数据。

4.如权利要求1所述的基于分布式平台的数据清洗方法，其特征在于，所述步骤(3)，包括：

(3.1)将所述标准化的数据生成唯一标识，每个数据源提供唯一标识生成规则，通过HASH方式生成ID，通过ID消重；

(3.2)清洗大量重复数据。

5.如权利要求1所述的基于分布式平台的数据清洗方法，其特征在于，所述步骤(4)，包括：

(4.1)将消重后的数据进行备份；

(4.2)将消重后的数据，根据文本清洗规则，进行文本清洗；

(4.3)将文本清洗的数据存储，并导出排查和优化所述文本清洗规则。

6.如权利要求1所述的基于分布式平台的数据清洗方法，其特征在于，所述步骤(5)，包括：

(5.1)引入规则模型，分析所述文本清洗后的数据；

(5.2)根据业务配置的处理规则，调用所述规则模型，根据所述规则模型反馈的结果，判断数据是否需要清洗；

(5.3)对所述规则模型清洗的数据存储，导出排查和优化所述规则模型的分析规则；

(5.4)导出未清洗的数据进行训练所述规则模型，并优化所述规则模型。

7.一种基于分布式平台的数据清洗装置，其特征在于，包括：

获取模块，用于通过数据采集，获取大量数据；

生成模块，用于将获取的所述大量数据，根据预设规则解析，生成标准化的数据；

消重模块，用于将所述标准化的数据按照所对应的业务规则生成唯一标识，根据所述唯一标识进行消重处理；

清洗模块，用于将所述消重处理后的数据，进行文本清洗；

分析模块，用于将所述文本清洗后的数据，调用规则模型，进行分析；

确定模块，用于根据所述规则模型输出的数据文本，调用机器学习，进行概率计算，获得权重值；确定所述权重值是否在区间范围内；

存储模块，用于确定当所述权重值不在区间范围内时，将所述文本清洗后的数据存储到数据库；

所述确定模块，具体用于将所述规则模型输出的数据文本，调用机器学习的算法，进行概率计算，得到权重值；根据权重值判断所述权重值对应的数据是否需要清洗；将所述机器学习的结果和清洗的数据存储，导出排查和优化机器学习规则；导出未清洗的数据进行训练机器学习，并优化机器学习。