[发明专利]一种基于生命周期模型的互联网大数据任务调度的系统及方法

说明书

一种基于生命周期模型的互联网大数据任务调度的系统及方法，调度系统的构建过程包括：通过建立数据任务生命周期模型、设计基于数据任务生命周期模型的任务表达方法、构建任务调度系统，任务调度系统，包括：界面层、存储层、元数据层和执行层。元数据层将任务实例以及任务实例之间的依赖关系抽象成一张属性图，属性图中的节点表示任务实例，节点属性包括任务实例的参数；属性图中的边表示任务实例之间的依赖关系；通过属性图来调度任务实例。本发明可自动推导任务依赖关系，自动化程度更高、可靠性更好。数据任务开发完成后，只需要提交不同的实例化参数，即可控制任务执行，效率更高、更智能化。

技术领域

本发明涉及数据业务处理技术领域，尤其涉及一种基于生命周期模型的互联网大数据任务调度的系统及方法。

背景技术

大数据技术是近年来发展极为迅速的一个领域，是支撑现代互联网广告、电子商务以及020等主流互联网业务的重要基石。以互联网广告业务为例，仅2011至2014年，互联网广告的市场规模已经超过了报纸广告规模，名列第二位，市场规模连续保持高速增长。互联网业务的持续火热增长不断推动大数据技术的发展。

目前，主流的大数据解决方案是基于Hadoop集群的HDFS的分布式存储加上MapReduce、Spark等分布式计算引擎。大数据生产业务一般分为如下环节：

(1)ETL数据入库，将外部数据导入集群，并做数据抽取、清洗变换，并加载到大数据仓库；(2)业务数据分析，在ETL环节产出的基础数据上，结合业务进行各种分析以及高层信息抽取；(3)业务监控和分析报表，根据业务高层分析数据，给出业务监控所需的时间序列数据已经汇总报表数据；(4)机器学习模型训练，针对业务，训练机器学习模型，进行分类、回归预测等任务；(5)业务数据生产，产出业务所需的数据。

一个互联网业务的背后，通常有成千上万的大数据分析处理任务作为支撑，而这些数据任务之间的关系错综复杂，需要一套任务调度系统进行管理。任务调度器的主要工作包括但不限于：(1)提供数据任务的执行监控和报警功能；(2)在数据任务彼此相互依赖时，提供依赖检查，确保每个数据任务运行时，其前置依赖任务都已经完成；(3)任务批次管理和回溯。

一般任务调度系统通常使用DAG描述任务之间的依赖关系，并计算任务的执行顺序。

目前常见的任务调度系统有：

(1)oozie：一款开源的工作流引擎，主要用来管理hadoop任务。Oozie将hadoop任务抽象成一个有向无环图(DAG)，并按照DAG上的依赖关系，将任务发布到Hadoop上执行。

(2)Azkaban：也是一款开源工作流引擎，不同于Oozie的是，Azkaban提供用户友好的图形化环境，能够更快更有效的设置和编辑工作流。

上述数据任务调度系统目前存在如下问题：(一)使用困难，用户难以直接有效的和系统交互；(二)缺乏严格的调度逻辑，虽然都通过有向无环图(DAG)进行任务依赖的管理，但实际调度作业中，难以在DAG上进行状态跟踪和恢复；(三)目前主流任务调度器均是通过人工直接定义DAG的方式，来进行任务调度。这样做的一个主要弊端是DAG定义过程复杂，并且容易出错。

发明内容

本发明的目的是针对现有技术的不足，提供一种一种基于生命周期模型的互联网大数据任务调度的系统及方法。

本发明的目的是通过以下技术方案实现的：

本发明的第一个目的是构建一种基于生命周期模型的互联网大数据任务调度的系统，包括：

A、建立数据任务生命周期模型：数据任务生命周期包括：

数据需求阶段：需求人员提出数据需求；

数据开发阶段：开发人员完成数据任务的设计；