[发明专利]自动化数据回溯的方法与系统

权利要求书

1.一种数据回溯的方法，其特征在于，包括：

数据集市客户端把获取的数据回溯任务放入任务池；

所述数据集市客户端按照根据集市服务器的任务执行能力而设定的检测周期定期检测数据集市服务器的资源占用情况，当资源占用情况不超过占用阈值时，所述数据集市客户端串行地提交任务池中的数据回溯任务；当资源占用情况超过占用阈值时，所述数据集市客户端中断当前数据回溯任务的提交和/或请求所述数据集市服务器中断当前数据回溯任务的执行，并将当前中断的数据回溯任务放回任务池中；

数据集市服务器将已经回溯的数据保存至数据集市。

2.根据权利要求1所述的方法，其特征在于，所述资源占用情况包括以下一个或多个：CPU使用率、可用内存量、交换区使用情况、网络I/O状况。

3.根据权利要求1所述的方法，其特征在于，所述数据集市客户端串行地提交任务池中的数据回溯任务还包括：定时检测当前提交的数据回溯任务的执行情况，若当前数据回溯任务执行完成，则继续提交下一数据回溯任务，若当前数据回溯任务未完成，则等待提交。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

数据集市服务器在执行数据回溯任务的过程中，自动校验数据回溯任务的执行结果。

5.根据权利要求4所述的方法，其特征在于，数据集市服务器在执行数据回溯任务的过程中，自动校验数据回溯任务的执行结果还包括：

配置错误监控信息，其中错误监控信息中包括：错误类别、错误信息以及处理手段；

在执行数据回溯任务的过程中，根据配置的错误监控信息自动校验任务执行结果，若执行失败则根据错误类别分类处理，其中，对于可自动修复的错误，则将数据回溯任务或自动修复参数后的数据回溯任务返回至数据集市客户端，以重新放入任务池等待提交；对于不可自动修复的错误，则将生成错误信息文件推送至监控人员。

6.一种数据回溯的系统，其特征在于，包括：数据集市客户端、数据集市服务器以及数据集市，其中：

所述数据集市客户端按照根据集市服务器的任务执行能力而设定的检测周期定期检测数据集市服务器的资源占用情况，当资源占用情况不超过占用阈值时，所述数据集市客户端串行地提交任务池中的数据回溯任务；当资源占用情况超过占用阈值时，所述数据集市客户端中断当前数据回溯任务的提交和/或请求所述数据集市服务器中断当前数据回溯任务的执行，并将当前中断的数据回溯任务放回任务池中；

数据集市服务器将已经回溯的数据保存至数据集市。

7.根据权利要求6所述的系统，其特征在于，所述资源占用情况包括以下一个或多个：CPU使用率、可用内存量、交换区使用情况、网络I/O状况。

8.根据权利要求6所述的系统，其特征在于，所述数据集市客户端串行地提交任务池中的数据回溯任务还包括：定时检测当前提交的数据回溯任务的执行情况，若当前数据回溯任务执行完成，则继续提交下一数据回溯任务，若当前数据回溯任务未完成，则等待提交。

9.根据权利要求6所述的系统，其特征在于，所述数据集市服务器还用于：在执行数据回溯任务的过程中，自动校验数据回溯任务的执行结果。

10.根据权利要求9所述的系统，其特征在于，数据集市服务器在执行数据回溯任务的过程中，自动校验数据回溯任务的执行结果还包括：

配置错误监控信息，其中错误监控信息中包括：错误类别、错误信息以及处理手段；

在执行数据回溯任务的过程中，根据配置的错误监控信息自动校验任务执行结果，若执行失败则根据错误类别分类处理，其中，对于可自动修复的错误，则将数据回溯任务或自动修复参数后的数据回溯任务返回至数据集市客户端，以重新放入任务池等待提交；对于不可自动修复的错误，则将生成错误信息文件推送至监控人员。