[发明专利]一种基于生命周期模型的互联网大数据任务调度的系统及方法

摘要

一种基于生命周期模型的互联网大数据任务调度的系统及方法，调度系统的构建过程包括：通过建立数据任务生命周期模型、设计基于数据任务生命周期模型的任务表达方法、构建任务调度系统，任务调度系统，包括：界面层、存储层、元数据层和执行层。元数据层将任务实例以及任务实例之间的依赖关系抽象成一张属性图，属性图中的节点表示任务实例，节点属性包括任务实例的参数；属性图中的边表示任务实例之间的依赖关系；通过属性图来调度任务实例。本发明可自动推导任务依赖关系，自动化程度更高、可靠性更好。数据任务开发完成后，只需要提交不同的实例化参数，即可控制任务执行，效率更高、更智能化。

主权项

1.一种基于生命周期模型的互联网大数据任务调度的系统，其特征在于，包括：/nA、数据任务生命周期模型：数据任务生命周期包括：/n数据需求阶段：需求人员提出数据需求；/n数据开发阶段：开发人员完成数据任务的设计；/n数据执行阶段：运维人员完成数据任务的上线、执行和监控；/n数据执行结果阶段：运维人员进行数据任务执行结果的回溯和修正；/nB、基于数据任务生命周期模型的任务表达方法：所述任务表达方法包括数据任务声明、数据任务定义、数据任务实例的表达方法，分别为：/n任务声明＝任务名(形参列表)；/n任务定义＝任务名(形参列表)→[依赖名1(依赖形参1)，依赖名2(依赖形参2),…,依赖名n(依赖形参n)]，n为正整数；/n任务实例＝任务名(实参列表)→[依赖名1(依赖实参1)，依赖名2(依赖实参2),…,依赖名n(依赖实参n)]，n为正整数；/nC、任务调度系统，包括：界面层、存储层、元数据层和执行层；/n所述界面层用来储存和管理任务声明，用户通过界面层向存储层发出任务实例化指令；/n所述存储层用来存储和管理任务定义和任务的实现代码；/n所述元数据层用来存储和管理任务实例，元数据层将任务实例以及任务实例之间的依赖关系抽象成一张属性图，属性图中的节点表示任务实例，节点属性包括任务实例的参数；属性图中的边表示任务实例之间的依赖关系；/n所述的执行层用来调度属性图中需要执行的任务实例，所述执行层由用于任务分发的主节点和用于任务处理的工作节点构成，所述主节点检测元数据层，将可执行的任务实例分发给工作节点，所述工作节点包含存储层发送的实现代码。/n