[发明专利]一种数据质量的评估方法及装置

权利要求书

1.一种数据质量的评估方法，其特征在于，应用于对第一任务所处理的已采集数据进行数据质量评估，所述已采集数据包括多个数据行，所述多个数据行中的每个数据行包括多个字段值，当所述第一任务被调度执行时，所述方法包括：

接收输入的针对所述已采集数据的多个数据行或每个数据行中各个字段值的约束条件信息，所述约束条件信息与所述第一任务处理所述已采集的数据的需求相对应且用于生成数据质量评估任务，所述约束条件信息至少包括：规则类型、规则强度以及校验类型，所述规则类型用于指示对所述多个数据行整体进行评估或对每个数据行中的各个字段值进行评估，所述规则强度用于指示所述数据质量评估任务与所述第一任务之间是否相互独立，所述校验类型用于指示对所述多个数据行整体进行评估或对每个数据行中的各个字段值进行评估时所采用的基准值类型、基准值的大小以及对比关系；

接收输入的用于设置所述数据质量评估任务与所述第一任务相对执行顺序的操作指令，并基于确定的相对执行顺序执行所述数据质量评估任务与所述第一任务，以使所述数据质量评估任务对所述第一任务处理的数据进行针对性的质量评估，不同的第一任务与对应的数据质量评估任务之间的相对执行顺序不相同。

2.如权利要求1所述的方法，其特征在于，若所述第一任务为基于所述已采集数据的数据开发型任务，所述操作指令用于设置所述数据质量评估任务先于所述第一任务被执行。

3.如权利要求2所述的方法，其特征在于，若所述约束条件信息中所述规则类型指示对每个数据行中的各个字段值进行评估，所述规则强度信息指示所述数据质量评估任务与所述第一任务之间为非独立关系，基于确定的相对执行顺序执行所述数据质量评估任务与所述第一任务包括：

基于所述校验类型所包含的基准值类型、基准值的大小以及对比关系对每个数据行中的各个字段值进行评估，并确定每个数据行的评估结果，所述评估结果用于表征每个数据行中的各个字段值是否均满足由基准值类型、基准值的大小以及对比关系所构成的第一约束条件；

若确定评估结果为均满足所述第一约束条件的部分数据行的数量大于或等于第一预设阈值，则基于所述部分数据行执行所述第一任务。

4.如权利要求3所述的方法，其特征在于，若所述规则强度信息指示所述数据质量评估任务与所述第一任务之间为独立关系，所述方法还包括：

若确定评估结果为均满足所述第一约束条件的数据行的数量小于所述第一预设阈值，则基于所述已采集的数据执行所述第一任务。

5.如权利要求3所述的方法，其特征在于，还包括：

存储输入的针对所述已采集数据存在的不满足所述第一约束条件的至少一个数据质量问题所对应的至少一个修复指令，并建立所述至少一个数据质量问题与所述至少一个修复指令的对应关系；

若确定评估结果为部分满足所述第一约束条件的第一数据行所对应的第一数据质量问题存在于所述至少一个数据质量问题中，则基于所述至少一个数据质量问题与所述至少一个修复指令的对应关系确定所述第一数据质量问题对应的第一修复指令，并调用所述第一修复指令对所述第一数据质量问题进行修复。

6.如权利要求1所述的方法，其特征在于，若所述第一任务为基于所述已采集数据的数据导入型任务，所述操作指令用于设置所述第一任务先于所述数据质量评估任务被执行。

7.如权利要求6所述的方法，其特征在于，若所述约束条件信息中所述规则类型指示所述多个数据行整体进行评估，基于确定的执行顺序依次执行所述数据质量评估任务与所述第一任务包括：

基于所述已采集的数据执行所述第一任务，所述第一任务用于对所述已采集数据包括的多个数据行导入至预设存储位置并进行编号处理；

在确定所述第一任务执行完成后，基于所述校验类型所包含的基准值类型、基准值的大小以及对比关系对所述多个数据行整体进行评估，并确定所述多个数据行整体的评估结果，所述评估结果用于表征所述多个数据行整体是否满足由基准值类型、基准值的大小以及对比关系所构成的第二约束条件；

若确定评估结果为不满足所述第二约束条件，则输出提示信息，所述提示信息用于提醒用户经所述第一任务处理的所述已采集数据数量不足或数量已超标。