[发明专利]用于实时数据ETL系统的记忆式调度方法

权利要求书

1.用于实时数据ETL系统的记忆式调度方法，其特征是：ETL调度主程序按照预先设定的顺序执行某个任务、ETL即数据抽取、转换和加载，执行的时候把lscycle最近成功数据周期、curcycle当前处理数据周期和endcycle处理截止数据周期由调度引擎记忆下来的关键信息传给被调程序，被调程序执行完成之后，由调度引擎记录并保存更新后的调度信息；在数据重抽中，通过记忆式调度方法自动对其中的某些任务和某些周期进行自动重抽；

ETL数据分类：

根据ETL数据的变化特点，分成固定周期数据和周期闭环数据：

固定周期：是指在分析周期内数据是静止的数据；

周期闭环：指抽取特定周期内数据是变化的、取最后一次变化的记录；该周期是不固定的，其时间范围为上次执行抽取的时间到本次执行抽取发生的时间；

记忆式调度方法：

假定调度流程Wf1，任务B1∈Wf1，则

Wf1的状态＝{wstate状态、

          lscycle最近成功数据周期、

          endcycle处理截止数据周期、

          curcycle当前处理数据周期}

B1的状态＝{bstate状态、

          succnum成功运行次数、

          succtotal成功运行总历时、

          succavg成功运行平均历时}

周期闭环的记忆式调度方法：

某个周期闭环数据集A，A的起始抽取时间是Φ，每隔T0分钟抽取一次，则数据集A的抽取时间集＝[Φ，Φ1)+[Φ1，Φ2)+[Φ2，Φ3)+…+[Φn-1，Φn)+…

其中，“[Φn”表示≥Φn，“Φn+1)”表示＜Φn+1

Φn表示每隔T0分钟去抽取数据集A的当时的时间点，等于Φ+T0*n，n从1开始，表示从Φ开始之后的第n个T0分钟；

因此，对于周期闭环当中的某个[Φn，Φn+1)：

lscycle＝[Φn-2，Φn-1)

curcycle＝[Φn-1，Φn)

endcycle＝[Φn-1，Φn)

这几个关键性的信息被调度引擎记忆下来，从而不需要被调程序进行处理，由调度引擎自动告诉被调程序执行以下时间序列的任务：

[Φn-1，Φn)

同时，wstate、bstate、succnum、succtotal和succavg也被调度引擎记忆下来；

固定周期的记忆式调度

对于固定周期的数据ETL调度，假定数据集B，B的起始抽取周期是∏，每隔T1天抽取一次，则数据集B的抽取周期集＝∏1+∏2+∏3+…+∏n-1+∏n+…

其中，∏n等于∏+n，n从1开始，表示从∏开始之后的第n天；因此，对于固定周期当中的某个∏n：

lscycle＝∏n-1

curcycle＝∏n

endcycle＝∏k

这几个关键性的信息被调度引擎记忆下来，从而不需要被调程序进行处理，由调度引擎自动告诉被调程序执行以下时间序列的任务：

∏n、∏n+1...∏k-1、∏k

同时，wstate、bstate、succnum、succtotal和succavg也被调度引擎记忆下来，k≥n；

在ETL任务由于某种原因被暂停或执行失败而在时间上滞后预定计划，在该任务重新恢复正常运行时，能进行ETL任务的自动追赶。

2.根据权利要求1所述的用于实时数据ETL系统的记忆式调度方法，其特征是在周期闭环的抽取模式中，根据时间戳进行实时的数据ETL。

3.根据权利要求1所述的用于实时数据ETL系统的记忆式调度方法，其特征是每个任务都可以对自身的运行情况进行自我评估。