[发明专利]数据清洗方法、装置及设备

权利要求书

1.一种数据清洗方法，其特征在于，所述方法包括：

从指定数据库中抽取目标数据表的目标元数据信息，并将所述目标数据表的内容复制到数据仓库中的中间表；所述目标元数据信息包括表字段指定属性；所述复制完成后，存储所述中间表的元数据信息；根据元数据确认指令确认所述中间表的元数据信息；若所述目标元数据信息中的表字段指定属性被修改，根据元数据修改指令修改所述中间表的元数据信息；否则所述中间表的元数据信息与所述目标元数据信息一致；

根据所述目标元数据信息，确定所述目标数据表的目标清洗任务，所述目标清洗任务包括至少一个清洗规则；

按照所述目标清洗任务中的各清洗规则对所述中间表执行清洗操作，得到目标标准表；

将所述目标标准表发送给所述指定数据库所在的设备，以由所述设备将所述目标标准表存储至所述指定数据库；

所述根据所述目标元数据信息，确定所述目标数据表的目标清洗任务，包括：

从已建立的表字段与标准数据元的对应关系中，查找出与目标元数据信息中的各字段匹配的目标数据元；

从已建立的标准数据元与清洗规则的对应关系中，查找出与所述目标数据元匹配的第一清洗规则；

根据第一清洗规则，生成所述目标数据表的目标清洗任务；

所述从已建立的标准数据元与清洗规则的对应关系中，查找出与所述目标数据元匹配的第一清洗规则之后，还包括：

从已建立的表字段与指定属性的对应关系中，查找出与目标元数据信息中的各字段匹配的目标属性；

从已建立的属性与清洗规则的对应关系中，查找出与所述目标属性匹配的第二清洗规则；

所述根据第一清洗规则，生成所述目标数据表的目标清洗任务，包括：根据第一清洗规则和第二清洗规则，生成所述目标数据表的目标清洗任务。

2.根据权利要求1所述的方法，其特征在于，在所述从已建立的表字段与指定属性的对应关系中，查找出与目标元数据信息中的各字段匹配的目标属性之前，所述方法还包括：

接收对所述目标元数据信息中指定字段的属性修改信息，所述属性修改信息用于指示将所述指定字段的指定属性修改为指定属性；

根据所述属性修改信息修改中间表中所述指定字段的指定属性；

根据对所述指定字段的指定属性的修改，更新所述中间表对应的表字段与指定属性的对应关系；

所述从已建立的表字段与指定属性的对应关系中，查找出与目标元数据信息中的各字段匹配的目标属性，包括：从更新后的表字段与指定属性的对应关系中，查找出与目标元数据信息中的各字段匹配的目标属性。

3.根据权利要求1所述的方法，其特征在于，所述目标数据表的数量为至少一个。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在对所述中间表执行清洗操作的过程中，将所述中间表中的问题数据和所述问题数据对应的问题标识字段写入所述目标标准表中；或者，

在对所述中间表执行清洗操作的过程中，将所述中间表中的问题数据写入问题表中。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

将所述问题表发送给所述指定数据库所在的设备，以由所述设备将所述问题表存储至所述指定数据库。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在对所述中间表执行清洗操作的过程中，将所述中间表中的问题数据发送给问题数据回溯装置，以由所述问题数据回溯装置对所述问题数据进行修改，得到修正数据；

将所述修正数据写入所述目标标准表中。