[发明专利]一种数据智能标引和自动化数据清洗的方法及系统

说明书

一种数据智能标引和自动化数据清洗的方法，包括以下具体步骤：接收数据输入请求；对接收的数据进行分段，得到多段数据；调用指令并判断调用指令为标引指令或者为清洗指令：若为标引指令，则输入标引关键词，将各标引关键词依次带入各分段数据中，将含有该标引规则的数据进行标引，对各段标引结果依次进行整合和保存；若为清洗指令，则同时对各段进行清洗，将各段的清洗结果整合并进行保存，再对预清洗后的整合数据进行再次清洗，最后对数据深度清洗后的数据进行输出显示。本发明还提出数据智能标引和自动化数据清洗的的系统。本发明对数据进行分段，对不同的分段同时进行命令，提高了运行的效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据智能标引和自动化数据清洗的方法及系统。

背景技术

数据清洗是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并检查数据一致性，处理无效值和缺失值等；标引，就是通过标记指引人们方便、快捷地找到所需要的信息。

现有的数据标引和清洗方法效率低且标引和清洗的效果差，通常还需要人工进行校对。

发明内容

(一)发明目的

为解决背景技术中存在的技术问题，本发明提出一种数据智能标引和自动化数据清洗的方法及系统，本发明对数据进行分段，对不同的分段同时进行命令，提高了运行的效率。

(二)技术方案

本发明提供了一种数据智能标引和自动化数据清洗的方法，包括以下具体步骤：

S1、接收数据输入请求；

S2、对接收的数据进行分段，得到多段数据；

S3、调用指令并判断调用指令为标引指令或者为清洗指令：若为标引指令，则执行S4；若为清洗指令，则执行S8；

S4、输入标引关键词并判断是否选择结束：若是，则执行S5；若否，则重新执行S4；

S5、将各标引关键词依次带入各分段数据中，将含有该标引规则的数据进行标引，执行S6；

S6、对各段标引结果依次进行整合并保存；

S7、对整合结果进行输出显示；

S8、数据预清洗：同时对各段进行清洗；

S9、将各段的清洗结果整合并进行保存；

S10、数据深度清洗：对预清洗后的整合数据进行再次清洗；

S11、对数据深度清洗后的数据进行输出显示。

优选的，还包括储存库；整合的数据保存在储存库内。

优选的，储存库内包含多个子储存库。

优选的，数据智能标引和自动化数据清洗装置以配置文件或代码块的形式配置到所述工业设备上。

本发明提供了一种数据智能标引和自动化数据清洗的系统，包括上述数据智能标引和自动化数据清洗的方法，具体包括

下载模块，用于接收输入数据请求命令；

分组模块，用于将储存模块内的数据进行分段，便于对各段模块同时执行命令；

调用模块，用于调用指令；

判断模块，用于判断调取的命令为标引指令或者为清洗指令；

标引模块，应于在数据中找到对应标引数据并将其提取出来并进行整合；

清洗模块，用于对数据进行数据预清洗和数据深度清洗，将数据内错误、重复、缺乏一致性的数据删除，并对清洗后的数据进行整合；