[发明专利]实现实时数据清洗处理的系统及其方法

说明书

本发明涉及一种实现实时数据清洗处理的系统，包括历史数据处理模块，用于根据数据模型将数据分类为波动特征和平稳特征，应用对应规则库进行处理；实时数据清洗模块，与所述的历史数据处理模块相连接，用于通过流处理引擎加载清洗规则对数据进行实时处理。本发明还涉及一种实现实时数据清洗处理的方法。采用了本发明的实现实时数据清洗处理的系统及其方法，将历史数据切分为不同的时间窗口，进行特征提取，然后按照特征分为平稳数据和波动数据，对于数据拟合出波动曲线作为数据规则，避免了因为冗余数据、重复数据、数据缺失等数据问题影响业务的发展的问题，避免了因为离线数据而滞后处理数据，能够在线实时处理处理，提高了处理性能。

技术领域

本发明涉及大数据处理领域，尤其涉及数据清洗领域，具体是指一种实现实时数据清洗处理的系统及其方法。

背景技术

在当今时代，大数据已经密切的融入了我们的日常生活当中。随着海量数据的到来，一些显而易见的数据问题也在困扰着我们。冗余数据，重复数据，数据缺失等数据问题影响业务的发展，所以需要对数据进行清洗。本发明先提出一种基于历史业务数据的实时数据清洗方法，主要解决数据处理中的以下问题：

1、数据冗余：

业务本身产生的重复数据，或者多个数据源合并产生的重复数据。

2、数据缺失：

因为网络原因，或者版本迭代等其他原因，导致数据不完整。

3、数据错误或不一致：

数据的格式不一致，数据获取的时候数据源不正确，或者一些其他人为原因导致的数据错误，需要做数据纠正。

4、滞后的离线处理：

目前很多公司的数据清洗，只能处理离线数据，即过去一段时间的数据导入离线数据库进行处理，在线实时的处理由于处理性能无法得到满足。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种满足正确性高、处理效率高、处理及时的实现实时数据清洗处理的系统及其方法。

为了实现上述目的，本发明的实现实时数据清洗处理的系统及其方法如下：

该实现实时数据清洗处理的系统，其主要特点是，所述的系统包括：

历史数据处理模块，用于根据数据模型将数据分类为波动特征和平稳特征，应用对应规则库进行处理；

实时数据清洗模块，与所述的历史数据处理模块相连接，用于通过流处理引擎加载清洗规则对数据进行实时处理。

较佳地，所述的历史数据处理模块包括：

数据模型，用于对历史数据进行分类；

过滤规则库，与所述的数据模型相连接，用于判断数据为脏数据或正确数据，并做后续处理；

纠正规则库，与所述的数据模型相连接，用于对平稳特征的进行补充或修正。

较佳地，所述的历史数据处理模块还包括清洗数据库，与所述的过滤规则库或纠正规则库相连接，用于进行实时数据清洗。

较佳地，所述的实时数据清洗模块包括：

实时数据源，用于产生业务数据，并传递至流处理引擎；

流处理引擎，与所述的实时数据源和实时数据清洗模块相连接，用于加载清洗规则，对数据进行实时区分和处理。

该利用上述系统实现实时数据清洗处理的方法，其主要特点是，所述的方法包括以下步骤：

(1)对已有的历史业务数据进行处理，将数据分为波动特征和平稳特征，并对应规则库进行处理；