[发明专利]自动化数据回溯的方法与系统

说明书

本发明提供一种数据回溯的方法和系统，能够自动化调用数据回溯任务执行，合理利用集市资源；且可以对数据回溯任务进行自动监控与错误信息的自动推送。该方法包括：数据集市客户端把获取的数据回溯任务放入任务池；所述数据集市客户端定期检测数据集市服务器的资源占用情况，当资源占用情况不超过占用阈值时，所述数据集市客户端串行地提交任务池中的数据回溯任务；当资源占用情况超过占用阈值时，所述数据集市客户端中断当前数据回溯任务的提交和/或请求所述数据集市服务器中断当前数据回溯任务的执行，并将当前中断的数据回溯任务放回任务池中；数据集市服务器将已经回溯的数据保存至数据集市。

技术领域

本发明涉及计算机技术及软件领域，尤其涉及一种自动化数据回溯的方法和系统。

背景技术

在当前数据集市应用场景中，经常会出现需要回溯当月至今或者整月的历史数据的情况。这是由于业务源系统中的数据会不定期、无规律的更新，因此要取得最准确的数据必须进行数据回溯。通过回溯方法能够得到最精准的数据，为决策者提供决策信息。该方法在很多大型数据集市(如电信，电力行业等)场景中都有着广泛的应用。

图1是现有技术中的数据回溯的通常做法。如图1所示，目前数据回溯主要是将数据抽取脚本上传到数据集市的客户端中，再通过将需要执行的数据抽取分区(通常以日期分区)以变量的形式传入脚本，手动设定每个执行任务的参数，并按需批量执行多个数据抽取任务。执行过程中会根据分区抽取数据并进行计算，最终计算结果会落地到数据集市的存储空间内。

然而这样的数据回溯的方法存在一定的弊端，其一，这种方法会使得数据集市资源紧张，阻塞其他任务执行，影响目标系统数据使用；其二，数据回溯任务产生的错误也难以发现，任务的错误信息也无法捕捉。如何科学的回溯历史数据已成为数据集市中的一个重要议题。

发明内容

有鉴于此，本发明提供一种数据回溯的方法和系统，能够自动化调用数据回溯任务执行，合理利用集市资源；且可以对数据回溯任务进行自动监控与错误信息的自动推送。

为实现上述目的，根据本发明的一个方面，提供了一种数据回溯的方法。

本发明的一种数据回溯的方法包括：数据集市客户端把获取的数据回溯任务放入任务池；所述数据集市客户端定期检测数据集市服务器的资源占用情况，当资源占用情况不超过占用阈值时，所述数据集市客户端串行地提交任务池中的数据回溯任务；当资源占用情况超过占用阈值时，所述数据集市客户端中断当前数据回溯任务的提交和/或请求所述数据集市服务器中断当前数据回溯任务的执行，并将当前中断的数据回溯任务放回任务池中；数据集市服务器将已经回溯的数据保存至数据集市。

可选地，所述资源占用情况包括以下一个或多个：CPU使用率、可用内存量、交换区使用情况、网络I/O状况。

可选地，所述数据集市客户端串行地提交任务池中的数据回溯任务还包括：定时检测当前提交的数据回溯任务的执行情况，若当前数据回溯任务执行完成，则继续提交下一数据回溯任务，若当前数据回溯任务未完成，则等待提交。

可选地，所述方法还包括：数据集市服务器在执行数据回溯任务的过程中，自动校验数据回溯任务的执行结果。

可选地，数据集市服务器在执行数据回溯任务的过程中，自动校验数据回溯任务的执行结果还包括：配置错误监控信息，其中错误监控信息中包括：错误类别、错误信息以及处理手段；在执行数据回溯任务的过程中，根据配置的错误监控信息自动校验任务执行结果，若执行失败则根据错误类别分类处理，其中，对于可自动修复的错误，则将数据回溯任务或自动修复参数后的数据回溯任务返回至数据集市客户端，以重新放入任务池等待提交；对于不可自动修复的错误，则将生成错误信息文件推送至监控人员。

为实现上述目的，根据本发明的另一方面，提供了一种数据回溯的系统。