[发明专利]一种数据质量稽核引擎及其稽核方法

权利要求书

1.一种数据质量稽核方法，其特征在于，包括：

1)获取待稽查数据集的元数据和数据质量标准规范的质量规则项，从所述质量规则项中提取对应的特征词，所述元数据包括数据集名称、数据属性名称和数据属性注释；

2)将所述特征词与所述元数据中的数据属性名称或者数据属性注释进行匹配，建立质量规则项和所述元数据中每个属性的关联关系；

3)基于所述待稽查数据集中的属性和所述关联关系得到稽核任务；

4)基于所述稽核任务与质量规则项对应的稽核处理方法，获得所述待稽查数据集的稽核处理方法，以生成所述待稽查数据集的稽核脚本；

5)运行所述稽核脚本对所述待稽查数据集进行稽查以获得稽核结果。

2.根据权利要求1所述的数据质量稽核方法，其特征在于，所述步骤2)中进行匹配所采用的匹配方法是正则表达式算法或Jaro Distance字符串相似性度量算法。

3.根据权利要求1所述的数据质量稽核方法，其特征在于，所述元数据还包括数据集记录数，若数据集记录数为零，则该待稽查数据集为空数据集，不对该待稽查数据集进行稽查。

4.根据权利要求1所述的数据质量稽核方法，其特征在于，所述元数据还包括数据属性值去重个数，所述数据属性值去重个数表示任意属性下数据记录去重后的个数，若数据属性值去重个数为零，则该待稽查数据集的元数据中存在空值数据属性，不对该空值数据属性进行稽查；若不为零，按照数据属性值去重个数对所属属性进行稽核。

5.根据权利要求1所述的数据质量稽核方法，其特征在于，所述待稽查数据集为多个时，获得各待稽查数据集的稽核脚本，按照设定顺序运行各待稽查数据集的稽核脚本。

6.根据权利要求5所述的数据质量稽核方法，其特征在于，各待稽查数据集的稽核脚本可以同时获得或顺次获得。

7.根据权利要求1所述的数据质量稽核方法，其特征在于，还包括对经过稽核的数据集中各个已稽核数据属性的稽核结果进行合并与保存。

8.根据权利要求7所述的数据质量稽核方法，其特征在于，在经过稽核的数据集中增加稽核结果数据属性，所述稽核结果数据属性用于存储经过稽核的数据集的稽核结果。

9.根据权利要求1所述的数据质量稽核方法，其特征在于，若质量规则项更新，则基于更新后的质量规则项对待稽查数据集进行稽查。

10.一种数据质量稽核引擎，其特征在于，包括：存储器和处理器，所述处理器用于执行存储在所述存储器中的指令，以实现权利要求1-9中任一项所述的数据质量稽核方法。