[发明专利]一种数据清洗工具

说明书

本发明创造属于数据处理领域，具体涉及了一种数据清洗工具。为了解决存在的在数据清洗时花费时间长、过程繁琐以及需要工作人员专业性过强的问题，本发明提出了一种使用通过图形化编辑清洗流程，可以重复调用且操作简单、无需过强的专业技能的数据清洗工具。为了实现上诉目的，本发明创造所用采用的技术方案是，一种数据清洗工具，包括：运行监控模块、导入执行模块、导入配置模块和数据定义模块；所述的导入配置模块包括，基础配置单元、清洗规则定义单元和清洗流程定义单元。所的清洗规则定义单元包括：控制节点、字符串处理节点、日期处理节点、数字处理节点、数据处理节点和数据入库节点。

技术领域

本发明创造属于数据处理领域，具体涉及了一种数据清洗工具。

背景技术

数据清洗是将不同来源不同格式的数据转化为同种格式的数据然后保存在数据库的过程，但是目前来说大多数的数据清洗采用手动的方式进行，也有一些软件可以实现数据清洗，但是其功能性很弱，需要工作人员具备极高的计算机方面的专业知识，而且处理数据方式固定单一，每次处理数据都需要重新编程，花费时间长。

发明内容

为了解决上述存在的在数据清洗时花费时间长、过程繁琐以及需要工作人员专业性过强的问题，本发明提出了一种使用通过图形化编辑清洗流程，可以重复调用且操作简单、无需过强的专业技能的数据清洗工具。

为了实现上诉目的，本发明创造所用采用的技术方案是，一种数据清洗工具，包括：运行监控模块、导入执行模块、导入配置模块和数据定义模块；所述的导入配置模块包括，基础配置单元、清洗规则定义单元和清洗流程定义单元。作为优选，所的清洗规则定义单元包括：控制节点、字符串处理节点、日期处理节点、数字处理节点、数据处理节点和数据入库节点。

作为优选，所述的控制节点包括：开始组件、结束组件、判断组件和分支组件。作为优选，所述的字符串处理节点包括：获取字符串长度组件、查找子穿组件、截取子串组件、连接字符串组件和字符串替换组件。

作为优选，所述的日期处理节点包括：获得当前组件、时间计算组件和格式化组件。

作为优选，所述的数字处理节点包括：数字格式化组件和数值计算。

作为优选，所述的数据处理包括：变量赋值组件、数据校验组件和数据转换组件。

作为优选，所述的数据入库包括：除重规则节点和数据入库节点。

作为优选，用户可以通过清洗规则定义单元中的各个节点中的各个组件通过拖拽进行自由组合，形成符合用户需求的清洗规则流程。

作为优选，所述的数据定义模块包括：数据表定义单元和数据源定义单元；所述的数据表定义单元的主要目的是按照目标系统对于数据的要求，对外部数据进行识别和标准化处理，达到目标系统数据要求后，进入到目标系统对应的数据库表中。

发明创造有益效果：(1)本申请中，使用者可以通过对图形化的组件进行拖拽组成符合使用者需求的数据清洗流程，虽然在第一次构建流程时花费时间较长，但是构建过的流程会生成记录，所以下次再处理同样类型的数据时，可以直接对以前的流程进行调用，从而缩短了时间，提升了效率；(2)本申请采用了图形化的设计，构建清洗流程只需要对图形进行拖拽并根据需求设计参数即可，无需再次编程，所以对工作人员的编程方面的能力要求不高；(3)本申请由于是通过组件组合而成的清洗流程，所以比之通过代码写出的清洗流程，本申请可以对清洗时候的逻辑进行查看，而且可以对清洗的数据的历史记录进行查看。

具体实施方式

一种数据清洗工具，包括：运行监控模块、导入执行模块、导入配置模块和数据定义模块；所述的导入配置模块包括，基础配置单元、清洗规则定义单元和清洗流程定义单元。

所的清洗规则定义单元包括：控制节点、字符串处理节点、日期处理节点、数字处理节点、数据处理节点和数据入库节点。