[发明专利]一种基于WEB的Spark应用程序调度方法及系统

权利要求书

1.一种基于WEB的Spark应用程序调度方法，其特征在于，包括步骤：

A、通过WEB从Spark应用程序库中选择可用的Spark应用程序并添加到统计活动中，并编辑各Spark应用程序的依赖关系，根据各Spark应用程序的依赖关系生成依赖关系图，并生成执行顺序信息，并将执行顺序信息保存到调度信息数据库中；

B、启动统计活动，按照执行顺序信息依次执行各Spark应用程序，并记录各Spark应用程序的状态；

所述步骤A还包括：若Spark应用程序库中没有可用的Spark应用程序，则进入到Spark应用程序管理功能页面，向Spark应用程序库中添加Spark应用程序。

2.根据权利要求1所述的基于WEB的Spark应用程序调度方法，其特征在于，所述步骤A中还包括：判断所述依赖关系图是否存在环，若是则校验不通过，并返回重新编辑各Spark应用程序的依赖关系，若校验通过则生成执行顺序信息。

3.根据权利要求1所述的基于WEB的Spark应用程序调度方法，其特征在于，所述步骤B具体包括：

B1、通过执行shell脚本来执行启动统计活动的命令；

B2、从调度信息数据库中获取执行顺序信息，根据执行顺序信息依次生成Spark应用程序的执行脚本，并将生成的执行脚本提交到执行机上执行；

B3、若执行成功Spark应用程序，则将相应的执行信息记录到统计结果数据库，同时将Spark应用程序的状态置为“完成”；若执行失败，则将Spark应用程序的状态置为“失败”；

B4、待所有的Spark应用程序执行完毕后，检查统计活动中是否存在状态为“失败”的Spark应用程序，若存在并且统计活动的执行次数小于预定次数，则返回步骤B2重新执行该统计活动；若存在并且统计活动的执行次数大于或等于预定次数，则标识该统计活动执行失败。

4.根据权利要求1所述的基于WEB的Spark应用程序调度方法，其特征在于，所述步骤A中，编辑各Spark应用程序的依赖关系具体包括：

为每个Spark应用程序指定一个父Spark应用程序，根Spark应用程序不存在父Spark应用程序。

5.根据权利要求1所述的基于WEB的Spark应用程序调度方法，其特征在于，所述步骤B还包括：实时统计各Spark应用程序被引用的次数以及被引用的统计活动信息。

6.一种基于WEB的Spark应用程序调度系统，其特征在于，包括：

编辑模块，用于通过WEB从Spark应用程序库中选择可用的Spark应用程序并添加到统计活动中，并编辑各Spark应用程序的依赖关系，根据各Spark应用程序的依赖关系生成依赖关系图，并生成执行顺序信息，并将执行顺序信息保存到调度信息数据库中；

若Spark应用程序库中没有可用的Spark应用程序，则进入到Spark应用程序管理功能页面，向Spark应用程序库中添加Spark应用程序；

执行模块，用于启动统计活动，按照执行顺序信息依次执行各Spark应用程序，并记录各Spark应用程序的状态。

7.根据权利要求6所述的基于WEB的Spark应用程序调度系统，其特征在于，所述编辑模块还包括：

添加单元，用于若Spark应用程序库中没有可用的Spark应用程序时，则通过进入到Spark应用程序管理功能页面向Spark应用程序库中添加Spark应用程序；

校验单元，用于判断所述依赖关系图是否存在环，若是则校验不通过，并返回重新编辑各Spark应用程序的依赖关系，若校验通过则生成执行顺序信息。