[发明专利]数据仓库调度方法及调度系统

权利要求书

1.一种数据仓库调度方法，用于通过对节点的执行来完成根据数据源中 的数据同步/刷新数据仓库中的数据，其特征在于，包括以下步骤：

(1)预先建立保存每一节点之依赖关系的节点关系表，所述依赖关系至少 包括所述节点的所有前置节点；

(2)预先建立用于保存每一节点当前状态的节点池记录表；

预先建立替代池，所述替代池中保存节点的所有替代节点信息；

(3)定期查询节点池记录表中的节点的当前状态和节点关系表中节点的 依赖关系，找出所有前置节点的当前状态为已完成的节点或没有前置节点的 节点，放入待处理池；

当查询到节点池记录表中的节点之当前状态为处理出错时，先访问所述 替代池，若从中找到一替代节点，则将所述替代节点放入待处理池，否则停 止对该节点及以该节点为前置节点的调度；

(4)不间断地进行节点执行操作，直至待处理池中不再出现节点；每一节 点执行操作包括：从待处理池中取出若干个节点，执行每一节点，并把执行 的结果保存至节点池记录表中该节点的当前状态。

2.如权利要求1所述的数据仓库调度方法，其特征在于，

步骤(2)还包括，节点池记录表预先设置节点的处理出错次数；

步骤(3)还包括，当查询到节点池记录表中的节点之当前状态为处理出错 时，进一步获得所述节点的处理出错次数，在访问所述替代池时，若节点的 处理出错次数＜所述节点的替代节点个数+1时，则从中找到其它的替代节 点，并将该替代接点放入待处理池，否则停止对该节点及以该节点为前置节 点的调度。

3.如权利要求1或2所述的数据仓库调度方法，其特征在于，步骤(4) 之后还包括：

每次调度结束后，若还存在节点未执行，则将未执行的节点更新至初始 状态，重新运行步骤(2)和步骤(3)。

4.如权利要求1所述的数据仓库调度方法，其特征在于，步骤(4)中是根 据设备的处理能力来确定从待处理池中取出的节点个数N，并且是以并行方 式来运行N个节点。

5.如权利要求4所述的数据仓库调度方法，其特征在于，

步骤(2)还包括，预先在节点池记录表中设置每一节点的优先级配置；

步骤(4)还包括，是按照优先级顺序来从待处理池中取出N个节点。

6.一种数据仓库调度系统，用于通过对节点的执行来完成根据数据源中 的数据同步/刷新数据仓库中的数据，其特征在于，包括处理器和存储单元；

所述存储单元进一步包括：

节点关系表：用于保存每一节点之依赖关系，所述依赖关系至少包括所 述节点的所有前置节点；

节点池记录表：用于保存每一节点包括其当前状态的节点信息；

待处理池，用于存储当前可以被处理的节点；

替代池，用于保存节点的所有替代节点信息；

所述处理器至少包括节点分配器和数据处理单元；

节点分配器：至少包括常规节点分配单元和修复节点分配单元；其中：

常规节点分配单元，用于定期查询节点池记录表中的节点的当前状态 和节点关系表中节点的依赖关系，找出所有前置节点的当前状态为已完成的 节点或没有前置节点的节点，放入待处理池；

修复节点分配单元，用于当查询到节点池记录表中的节点之当前状态 为处理出错时，先访问所述替代池，若从中找到一替代节点，则将所述替代 节点放入待处理池，否则停止对该节点及以该节点为前置节点的调度；

数据处理单元：用于不间断地进行节点执行操作，直至待处理池中不再 出现节点；每一节点执行操作包括：从待处理池中取出若干个节点，执行每 一节点，并把执行的结果保存至节点池记录表中该节点的当前状态。