[发明专利]一种基于WEB的Spark应用程序调度方法及系统

说明书

本发明公开一种基于WEB的Spark应用程序调度方法及系统，方法包括步骤：A、通过WEB从Spark应用程序库中选择可用的Spark应用程序并添加到统计活动中，并编辑各Spark应用程序的依赖关系，生成依赖关系图和执行顺序信息，并保存到调度信息数据库中；B、启动统计活动，按照执行顺序信息依次执行各Spark应用程序，并记录各Spark应用程序的状态。本发明通过浏览器来配置Spark应用程序之间的依赖关系，并能以图形化的方式展示。运维人员可以监控到Spark应用程序的各种状态，大大提高了运维的效率，降低了运维出错的概率。

技术领域

本发明涉及分布式计算领域，尤其涉及一种基于WEB的Spark应用程序调度方法及系统。

背景技术

Spark是一个基于内存计算的开源集群计算系统。随着Spark成为Apache基金会的顶级开源项目，越来越多的人在大数据计算中使用Spark。Spark可以在Standalone、Yarn、Mesos（Spark几种常见的安装部署模式）等多种模式下运行。

Spark内部使用了DAG（directed acyclic graph，有向无环图）维护了Spark应用程序内部作业之间的依赖关系，而Spark应用程序之间的依赖关系要靠执行者手工记录执行顺序的方式来维护，使用起来不方便。而且一旦某个Application执行失败，运维人员容易漏掉需要一并执行的Spark应用程序，从而导致统计的数据失真。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种基于WEB的Spark应用程序调度方法及系统，旨在解决现有的Spark使用不方便、维护容易出错的问题。

本发明的技术方案如下：

一种基于WEB的Spark应用程序调度方法，其中，包括步骤：

A、通过WEB从Spark应用程序库中选择可用的Spark应用程序并添加到统计活动中，并编辑各Spark应用程序的依赖关系，根据所述依赖关系生成执行顺序信息，并保存到调度信息数据库中；

B、启动统计活动，按照执行顺序信息依次执行各Spark应用程序，并记录各Spark应用程序的状态。

所述的基于WEB的Spark应用程序调度方法，其中，所述步骤A中还包括：若Spark应用程序库中没有可用的Spark应用程序时，则通过进入到Spark应用程序管理功能页面向Spark应用程序库中添加Spark应用程序；

所述步骤A中还包括：判断所述依赖关系图是否存在环，若是则校验不通过，并返回重新编辑各Spark应用程序的依赖关系，若校验通过则生成执行顺序信息。

所述的基于WEB的Spark应用程序调度方法，其中，所述步骤B具体包括：

B1、通过执行shell脚本来执行启动统计活动的命令；

B2、从调度信息数据库中获取执行顺序信息，根据执行顺序信息依次生成Spark应用程序的执行脚本，并将生成的执行脚本提交到执行机上执行；

B3、若执行成功Spark应用程序，则将相应的执行信息记录到统计结果数据库，同时将Spark应用程序的状态置为“完成”；若执行失败，则将Spark应用程序的状态置为“失败”；

B4、待所有的Spark应用程序执行完毕后，检查统计活动中是否存在状态为“失败”的Spark应用程序，若存在并且统计活动的执行次数小于预定次数，则返回步骤B2重新执行该统计活动；若存在并且统计活动的执行次数大于或等于预定次数，则标识该统计活动执行失败。

所述的基于WEB的Spark应用程序调度方法，其中，所述步骤A中，编辑各Spark应用程序的依赖关系具体包括：