[发明专利]一种ETL数据质量判定与反馈方法

权利要求书

1.一种ETL数据质量判定与反馈方法，其特征在于，所述方法包括：

调度对待处理数据进行ETL处理的ETL任务，并解析获取所述ETL任务所指示出的输出数据表的标识信息；

通过查询用于描述该标识信息所对应的输出数据表的元数据信息获取ETL数据处理过程的判定指标，所述判定指标指示按照指定方式对所述ETL数据处理过程的输出数据中的指定字段进行统计或运算；

执行所述ETL任务，得到目标数据并存储至数据仓库，其中，所述目标数据包括采用所述ETL任务对所述待处理数据进行ETL处理后得到的第一数据和用于唯一标识所述第一数据的标记信息；

根据所述判定指标的结果值和预设期望值的比较结果确定对所述ETL数据处理过程的质量判定结果；

在根据ETL处理日志确定所述ETL任务失败时，根据所述ETL处理日志和所述标记信息从所述数据仓库中确定出脏数据，并对所述脏数据进行清理。

2.如权利要求1所述的方法，其特征在于，在调度对待处理数据进行ETL处理的ETL任务之前，所述方法还包括：

同步源数据至所述数据仓库并设置预警阈值，当所述源数据在所述预警阈值内时，对所述源数据进行标准化处理得到标准化源数据；

对所述标准化源数据进行元数据管理，通过元数据将海量报表中的目标表、目标字段进行业务描述得到第二数据；

根据预设业务规则和预设数据标准从所述第二数据中提取所述待处理数据。

3.如权利要求1所述的方法，其特征在于，通过查询用于描述该标识信息所对应的输出数据表的元数据信息获取ETL数据处理过程的判定指标，包括以下之一或任意组合：

针对具有总量统计意义的数值型字段，将所述ETL数据处理过程的输出数据中该字段的数值进行累加；

针对具有平均值统计意义的数值型字段，将所述ETL数据处理过程的输出数据中该字段的数值求平均值。

4.如权利要求1所述的方法，其特征在于，根据所述ETL处理日志和所述标记信息从所述数据仓库中确定出脏数据，并对所述脏数据进行清理，具体为：

遍历ETL处理日志，若所述ETL处理日志中任务状态标识指示所述ETL任务执行失败时，从所述ETL处理日志中获取所述标记信息；

将与获取到的所述标记信息相匹配的数据仓库中的标记信息对应的目标数据确定为脏数据并清理。

5.如权利要求1所述的方法，其特征在于，所述标记信息包括所述调度对待处理数据进行ETL处理的ETL任务的调度ID和所述ETL任务的任务ID。

6.如权利要求2所述的方法，其特征在于，在同步源数据至所述数据仓库之前，还包括：

接收用户设置的ETL处理规则，根据所述ETL处理规则对所述待处理数据进行相应的ETL处理，所述ETL处理规则包括根据预设的结构化查询语言SQL的处理标准设置的ETL处理规则。

7.如权利要求2所述的方法，其特征在于，同步源数据至所述数据仓库，具体为：

依据数据源的类型同步源数据，所述数据源包括数据源名称、数据源类型和数据源中数据表的访问方式。

8.如权利要求4所述的方法，其特征在于，在将与获取到的所述标记信息相匹配的数据仓库中的标记信息对应的目标数据确定为脏数据之后，所述方法还包括：

基于可视化预警报表对所述脏数据进行可视化，突出显示异常的数据库表。