[发明专利]一种ETL数据质量判定与反馈方法

说明书

本发明公开了一种ETL数据质量判定与反馈方法，该方法包括：获取ETL数据处理过程的判定指标，根据所述判定指标的结果值和预设期望值的比较结果确定对所述ETL数据处理过程的质量判定结果，并在根据ETL处理日志确定所述ETL任务失败时，根据所述ETL处理日志和目标数据中携带的标记信息从所述数据仓库中确定出所述脏数据，并对所述脏数据进行清理，从而进一步提高了对ETL数据质量判定的准确性，并通过质量判定结果进行反馈，及时发现ETL处理过程中的问题，保证了输出数据的准确性。

技术领域

本申请涉及ETL管理领域，更具体地，涉及一种ETL数据质量判定与反馈方法。

背景技术

目前行业积累了大量数据，数据的容量、种类和变化都在急剧增加，但大数据尚未充分利用，其中蕴藏的巨大价值有待挖掘。大数据往往具有多源异构特性，来自不同的、分散的业务系统，存在结构化数据、半结构化数据、非结构化数据等多种类型，难以抽取并转换成所需的数据。在大数据环境下，数据呈现出大容量、多样式、交互频繁等特征，随着采集数据的不断增加，数据处理逻辑逐渐复杂，并且面临着海量多源异构数据在不同数据库之间传输效率问题。

数据通常存在于数据库、文件、流量日志等存储媒介中，通过抽取-转换-装载(Extract-Transform-Load，简称ETL)处理工具可以将分散的数据采集到数据仓库中或者数据管理平台中。

目前对ETL系统的数据处理进行监控的技术方案中，ETL处理的过程通常遵循以下顺序：数据抽取—数据清洗—数据转换—数据装载—数据实事表—……—报表输出/回流业务前台。可以看出，这个过程中的每一个数据处理过程的输出就是后一个数据处理过程的输入，因此只要其中的任一个过程出错，就会将错误层层传递，从而影响ETL的质量。然而，ETL建设过程通常是一个循序渐近的过程，历时时间比较长，而且这中间历经业务的反复变化、ETL开发人员的轮换等，如果要review整个ETL处理过程将特别耗时，而且由于数据源复杂等问题导致在数据处理的理解或错误原因的分析上存在差异，这将影响对ETL系统质量的判断的准确性。

因此，如何提高对ETL数据质量判定的准确性反馈，是目前有待解决的技术问题。

发明内容

本发明提供一种ETL数据质量判定与反馈方法，用以解决现有技术中由于数据源复杂等问题导致在数据处理的理解或错误原因的分析上存在差异，影响了对ETL系统质量的判断的准确性的技术问题，该方法包括：

调度对待处理数据进行ETL处理的ETL任务，并解析获取所述ETL任务所指示出的输出数据表的标识信息；

通过查询用于描述该标识信息所对应的输出数据表的元数据信息获取ETL数据处理过程的判定指标，所述判定指标指示按照指定方式对所述ETL数据处理过程的输出数据中的指定字段进行统计或运算；

执行所述ETL任务，得到目标数据并存储至数据仓库，其中，所述目标数据包括采用所述ETL任务对所述待处理数据进行ETL处理后得到的第一数据和用于唯一标识所述第一数据的标记信息；

根据所述判定指标的结果值和预设期望值的比较结果确定对所述ETL数据处理过程的质量判定结果；

在根据ETL处理日志确定所述ETL任务失败时，根据所述ETL处理日志和所述标记信息从所述数据仓库中确定出所述脏数据，并对所述脏数据进行清理。

优选的，在调度对待处理数据进行ETL处理的ETL任务之前，所述方法还包括：

同步源数据至所述数据仓库并设置预警阈值，当所述源数据在所述预警阈值内时，对所述源数据进行标准化处理得到标准化源数据；

对所述标准化源数据进行元数据管理，通过元数据将海量报表中的目标表、目标字段进行业务描述得到第二数据；

根据预设业务规则和预设数据标准从所述第二数据中提取所述待处理数据。