[发明专利]一种基于生命周期模型的互联网大数据任务调度的系统及方法

权利要求书

1.一种基于生命周期模型的互联网大数据任务调度的系统，其特征在于，包括：

A、数据任务生命周期模型：数据任务生命周期包括：

数据需求阶段：需求人员提出数据需求；

数据开发阶段：开发人员完成数据任务的设计；

数据执行阶段：运维人员完成数据任务的上线、执行和监控；

数据执行结果阶段：运维人员进行数据任务执行结果的回溯和修正；

B、基于数据任务生命周期模型的任务表达方法：所述任务表达方法包括数据任务声明、数据任务定义、数据任务实例的表达方法，分别为：

任务声明＝任务名(形参列表)；

任务定义＝任务名(形参列表)→[依赖名1(依赖形参1)，依赖名2(依赖形参2),…,依赖名n(依赖形参n)]，n为正整数；

任务实例＝任务名(实参列表)→[依赖名1(依赖实参1)，依赖名2(依赖实参2),…,依赖名n(依赖实参n)]，n为正整数；

C、任务调度系统，包括：界面层、存储层、元数据层和执行层；

所述界面层用来储存和管理任务声明，用户通过界面层向存储层发出任务实例化指令；

所述存储层用来存储和管理任务定义和任务的实现代码；

所述元数据层用来存储和管理任务实例，元数据层将任务实例以及任务实例之间的依赖关系抽象成一张属性图，属性图中的节点表示任务实例，节点属性包括任务实例的参数；属性图中的边表示任务实例之间的依赖关系；

所述的执行层用来调度属性图中需要执行的任务实例，所述执行层由用于任务分发的主节点和用于任务处理的工作节点构成，所述主节点检测元数据层，将可执行的任务实例分发给工作节点，所述工作节点包含存储层发送的实现代码。

2.一种基于生命周期模型的互联网大数据任务调度的方法，其特征在于，是基于权利要求1所述的一种基于生命周期模型的互联网大数据任务调度的系统的调度方法，步骤包括：

(1)运维人员采用自动化脚本触发某个任务实例执行；

(2)解析任务实例，获取任务实参，并通过任务实参推导依赖任务；

(3)检查依赖任务是否存在，若存在并已完成，则调度运行任务实例，任务实例进入“就绪”状态；若存在但未完成，则任务实例进入“等待”状态；若依赖任务不存在，则创建任务实例，并触发执行层执行依赖任务；

(4)执行层检查集群资源空闲情况，若有资源可用，则从元数据层的属性图中取等待时间最长的任务实例进入集群执行。

3.根据权利要求2所述的一种基于生命周期模型的互联网大数据任务调度的方法，其特征在于，还包括根据元数据层的属性图推导任务实例对应的属性图子图，根据任务实例的属性图子图调度任务实例，步骤包括：

(1)解析任务实例，读取任务实例的任务名和任务实参；

(2)根据任务实例的任务名，从存储层获取对应的任务定义；

(3)根据任务定义，获取任务依赖的依赖名和依赖形参，带入实参，得到任务依赖的任务实例；

(4)以该任务实例以及依赖的任务实例为节点，以依赖关系为边，构建属性图子图。