[发明专利]数据清洗方法、装置及设备

说明书

本发明实施例提供一种数据清洗方法、装置及设备。本发明实施例通过从指定数据库中抽取目标数据表的目标元数据信息，并将目标数据表的内容复制到数据仓库中的中间表，根据目标元数据信息，确定目标数据表的目标清洗任务，按照目标清洗任务中的各清洗规则对中间表执行清洗操作，得到目标数据表对应的目标标准表，将目标标准表发送给指定数据库所在的设备，以由改设备将目标标准表存储至指定数据库，能够根据抽取的元数据信息自动化生成数据表的清洗任务，并按照清洗任务自动完成对数据表的清洗，整个清洗过程自动进行，无需人工干预，并可针对数据库或系统中的全部数据表批量进行清洗，缩短了清洗时间，提高了数据清洗的处理效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据清洗方法、装置及设备。

背景技术

目前，大数据已经得到广泛的重视。通过对大数据的分析，可以获得很多有价值的信息。然而，受到数据记录和管理过程中的各种影响，大数据中的各种数据不可避免地存在各种质量问题，例如数据丢失、数据重复、数据不符合标准、数据不完整、数据过期等等。大数据的价值与数据质量之间呈现正相关的关系，因此，为了从大数据中挖掘出价值高的信息，需要对大数据进行必要的处理，以提高大数据的数据质量。

数据清洗是提高大数据的数据质量的方法之一。相关技术中，数据清洗的过程是：对于原始数据库中的每一张数据表，通过人工方式手动配置该数据表的清洗任务，将清洗任务通过结构化查询语言(Structured Query Language，SQL)语句写入原始数据表对应的人工编写的SQL脚本中，再针对每张表分别运行对应SQL脚本，以生成标准表并存储在原始数据库中。这种技术中，数据清洗过程需要人工手动配置每张数据表的清洗任务，耗时长，因此效率低。

发明内容

为克服相关技术中存在的问题，本发明提供了一种数据清洗方法、装置及设备。

根据本发明实施例的第一方面，提供一种数据清洗方法，所述方法包括：

从指定数据库中抽取目标数据表的目标元数据信息，并将所述目标数据表的内容复制到数据仓库中的中间表；

根据所述目标元数据信息，确定所述目标数据表的目标清洗任务，所述目标清洗任务包括至少一个清洗规则；

按照所述目标清洗任务中的各清洗规则对所述中间表执行清洗操作，得到目标标准表；

将所述目标标准表发送给所述指定数据库所在的设备，以由所述设备将所述目标标准表存储至所述指定数据库。

根据本发明实施例的第二方面，提供一种数据清洗装置，所述装置包括：

抽取及复制模块，用于从指定数据库中抽取目标数据表的目标元数据信息，并将所述目标数据表的内容复制到数据仓库中的中间表；

任务确定模块，用于根据所述目标元数据信息，确定所述目标数据表的目标清洗任务，所述目标清洗任务包括至少一个清洗规则；

清洗模块，用于按照所述目标清洗任务中的各清洗规则对所述中间表执行清洗操作，得到目标标准表；

发送模块，用于将所述目标标准表发送给所述指定数据库所在的设备，以由所述设备将所述目标标准表存储至所述指定数据库。

根据本发明实施例的第三方面，提供一种数据清洗设备，包括处理器以及用于存储所述处理器的可执行指令的存储器；

所述处理器被配置为：

从指定数据库中抽取目标数据表的目标元数据信息，并将所述目标数据表的内容复制到数据仓库中的中间表；

根据所述目标元数据信息，确定所述目标数据表的目标清洗任务，所述目标清洗任务包括至少一个清洗规则；