[发明专利]基于Apache Oozie框架处理大数据的流程任务的调度方法

权利要求书

1.一种基于Apache Oozie框架处理大数据的流程任务的调度方法，包括客户端和服务器端，所述客户端包括界面操作模块，所述服务器端包括服务端操作模块；其中，所述界面操作模块包括任务提交、任务操作、和任务监控三个模块；所述前端界面操作模块用于与用户操作的入口对接；所述服务器端包括控制层(Controller)，业务层(Service)和存储层；所述存储层包括HDFS存储模块和Mysql存储模块；

其中，所述控制层用于调用所述Service层，根据用户提交的不同参数向所述Service层发送请求；

所述Service层包括任务生成、任务操作、任务监控三个模块，

其特征在于，包括如下步骤：

生成任务提交界面和表单填写界面，选择需要的流程节点并获取表单属性数据；

提交表单到控制层，然后调用到任务生成模块，任务生成模块根据不同的任务类型生成不同的Action定义文档；

将所有的节点处理完成合并文件生成oozie工作流需要的workflow.xml文件；

接着调用HDFS存储模块API将生成的文件上传到HDFS上；

如果用户在提交任务的时候选中立即运行，控制层会接着调用任务操作模块，任务操作模块调用OOzieClient向OozieServer模块发送提交命令，由OOzieServer启动任务，同时修改任务的状态并且将任务的元数据存储到Mysql数据库；

如果是Coordinate任务，则将所有的节点处理完成合并文件生成oozie工作流需要的coordinate.xml文件，且，获取任务的关键属性数据，如任务的输入输出路径，和任务的运行频率；

对于任务操作，包括如下步骤：在所述前端界面上生成任务列表和不同的操作按钮，选择任务和操作按钮，通过Ajax请求到控制台，控制台接着调用任务操作模块，任务操作模块调用OOzieClient向OozieServer模块发送提交命令，由OOzieServer启动任务，同时修改任务的状态并且修改Mysql中对应的任务数据的状态；

对于任务监控，包括如下步骤：所述前端使用Ajax每五分中轮训任务监控模块，所述任务监控模块读取Mysql数据库中任务运行的数据，通过统计分组按不同的维度排序，将结果返回到前端动态的渲染报表，如果有任务执行失败则发送邮件通知任务提交人。

2.根据权利要求1所述的基于Apache Oozie框架处理大数据的流程任务的调度方法，其特征在于，所述控制层采用springMVC。

3.根据权利要求1所述的基于Apache Oozie框架处理大数据的流程任务的调度方法，其特征在于，所述任务生成模块使用Velocity作为模板。

4.根据权利要求1所述的基于Apache Oozie框架处理大数据的流程任务的调度方法，其特征在于，所述客户端使用

ElementUI+VUE.js+ECHART.js实现。

5.根据权利要求1所述的基于Apache Oozie框架处理大数据的流程任务的调度方法，其特征在于，所述服务器端使用

SpringBoot+SpringMVC+Spring+Mybatis对OOzie进行二次封装。

6.根据权利要求1所述的基于Apache Oozie框架处理大数据的流程任务的调度方法，其特征在于，所述客户端和服务器端使用MAVEN作为构建打包工具。