[发明专利]基于数据分析的分布式数据清洗系统及方法

说明书

技术领域

本发明属于数据处理技术领域，特别涉及一种基于数据分析的分布式数据清洗系统及方法。

背景技术

大数据分析系统已经越来越多地被应用到各个领域之中，作为数据分析的基础，数据的准确性和有效性对于分析的过程和结论，无疑将产生直接的影响。因此，如何确保数据的质量已经成为成功应用大数据分析系统所需要解决的首要问题。

发明内容

为了解决现有技术中存在的上述问题，本发明提出了一种基于数据分析的分布式数据清洗系统及方法，应用于物联网中分布式传感器网络的数据采集过程之中。该系统在对以往采集数据的分析基础之上，动态生成数据清洗的方法(规则)，并通过网络将清洗的规则分发到不同的数据采集节点，由数据采集节点执行数据清洗规则，从而达到对不同的数据源进行定制化的数据清洗的目的。

本发明提供了一种基于数据分析的分布式数据清洗系统，包括：

传感器网络，包括多个传感器，用于采集第一数据；

数据采集节点，包括数据清洗引擎和数据清洗规则库；所述数据清洗引擎根据传感器标识在所述数据清洗规则库中找到针对不同传感器所设定的数据清洗规则，并通过执行所述数据清洗规则，来完成对不同传感器采集的第一数据的清洗工作，并生成第二数据；

数据服务器，包括数据库、数据有效性分析模块、数据清洗规则生成模块和数据清洗规则发布模块；

所述第二数据传输到并储存于所述数据库中，所述数据有效性分析模块用于对已经存储在所述数据库中的历史数据，进行自相关的和互相关的数据有效性验证分析，并将分析结果输入到所述数据清洗规则生成模块；

所述数据清洗规则生成模块则依据输入的有效性验证分析结果，来判断当前的针对某个数据源的清洗规则是否需要修正；如果需要修正，则根据所述有效性验证分析结果产生新的针对某个数据源的清洗规则，并将新的数据清洗规则发送给所述数据清洗规则发布模块；

所述数据清洗规则发布模块将所述数据清洗规则生成模块新产生的清洗规则，发送到相应的数据采集节点，并更新所述数据采集节点中的所述数据清洗规则库，从而使得新产生的数据清洗规则能够被所述数据清洗引擎所执行，并达到使用新的数据清洗规则完成针对相应数据源的数据清洗工作的目的。

优选地，所述基于数据分析的分布式数据清洗系统包括多个不同的数据采集节点。

优选地，所述传感器为电流传感器，电压传感器，流量传感器，压力传感器和温度传感器中的任意一种或多种。

本发明还提供了一种基于数据分析的分布式数据清洗方法，所述方法包括如下步骤：

通过传感器网络中的多个传感器采集第一数据；

在包括数据清洗引擎和数据清洗规则库的数据采集节点中：

所述数据清洗引擎根据传感器标识在所述数据清洗规则库中找到针对不同传感器所设定的数据清洗规则，并通过执行所述数据清洗规则，来完成对不同传感器采集的第一数据的清洗工作，并生成第二数据；

在包括数据库、数据有效性分析模块、数据清洗规则生成模块和数据清洗规则发布模块的数据服务器中：

将所述第二数据传输并储存于所述数据库中；在所述数据有效性分析模块中，对已经存储在所述数据库中的历史数据，进行自相关的和互相关的数据有效性验证分析，并将分析结果输入到所述数据清洗规则生成模块；

在所述数据清洗规则生成模块中，依据输入的有效性验证分析结果，来判断当前的针对某个数据源的清洗规则是否需要修正，如果需要修正，则根据有效性验证分析结果产生新的针对某个数据源的清洗规则，并将新的数据清洗规则发送给所述数据清洗规则发布模块；

在所述数据清洗规则发布模块中，将所述数据清洗规则生成模块新产生的清洗规则，发送到相应的数据采集节点，并更新所述数据采集节点中的所述数据清洗规则库，从而使得新产生的数据清洗规则能够被所述数据清洗引擎所执行，并达到使用新的数据清洗规则完成针对相应数据源的数据清洗工作的目的。

优选地，所述第一数据为电流值，电压值，气体或者液体的压力，温度，流量中的任意一种或多种。

与现有技术相比，本发明的有益效果是：

能够自适应地调整数据清洗规则，不需要在现场逐一地人工进行设置和校验，因而极大地提高了分布式传感器网络部署的效率。

当因传感器周围环境(如电磁环境)发生变化，而对传感器数据采集过程产生干扰时，本发明可以基于对长期数据的分析而产生消除新增干扰的数据清洗规则，从而及时消除新产生的干扰对采集系统的影响。