[发明专利]一种大数据管理平台的作业任务管理方法

说明书

技术领域

本发明公开一种作业任务管理方法，属于数据管理领域，具体地说是一种大数据管理平台的作业任务管理方法。

背景技术

当前，互联网和移动互联网迅速发展，同时大数据和云计算时代的到来，加速了海量数据处理技术的发展。随之而来，大数据管理平台技术已日趋成熟，开源社区和一些大数据服务提供商陆续推出基于Hadoop的大数据管理平台。然而，在使用大数据管理平台执行应用程序的作业任务时，表现的并不友好，各个技术组件在同一平台中并没有统一的作业任务管理中心，而只是各自提供独立的只可在线查看的服务。导致在大数据管理平台在线提交任务，以及作业状态变化时主动发送通知信息非常不便。本发明提供一种大数据管理平台的作业任务管理方法，通过Web端统一在线作业任务管理模块，Server端应用程序调度及状态维护模块，Agent端应用程序执行模块的相互作用实现在线提交应用程序、自定义配置执行信息和状态变化通知信息，可定制任务执行计划，从而提高大数据管理平台的易用性，同时方便了管理员对集群运行任务的统一管理并且应用人员对其发起的任务可进行实时状态跟踪，可以指导大数据管理平台中的作业任务系统的开发，具有较高的参考价值和实际意义。

发明内容

本发明针对大数据管理平台没有统一的作业任务管理中心，而只是各自提供独立的只可在线查看的服务，导致在线提交任务，以及作业状态变化时主动发送通知信息非常不便的问题，提供一种大数据管理平台的作业任务管理方法，实现在线提交应用程序、自定义配置执行信息和状态变化通知信息，可定制任务执行计划，从而提高大数据管理平台的易用性，同时方便了管理员对集群运行任务的统一管理并且应用人员对其发起的任务可进行实时状态跟踪。

本发明提出的具体方案是：

一种大数据管理平台的的作业任务管理方法，具体步骤为：

①建立大数据管理平台的管理系统，主要包括Web端统一在线作业任务管理模块，Server端应用程序调度及状态维护模块，Agent端应用程序执行模块；

②利用Web端统一在线作业任务管理模块，用户登录管理平台，提供作业任务的应用程序，上传至集群中，上传时对应用程序的类型、程序大小和命名规范性做校验，不符合规则的拒绝提交；用户进行作业任务基本信息的配置项录入，对用户录入的任务配置项，进行合法性和规范校验，不符合规范的信息拒绝提交；用户对接收状态通知的配置项进行录入；

③Web端统一在线作业任务管理模块接收的用户上传的作业任务信息通过任务API接口进入Server端应用程序调度及状态维护模块，应用程序调度及状态维护模块维护应用程序执行状态，Server端通过Agent接口接收Agent端处理的各个流程阶段状态发起的维护命令，对状态维护命令做统一维护，并负责作业任务状态通知信息的发送；

④Agent端应用程序执行模块根据用户提交的配置，筛选出当前Agent节点需要执行的应用程序，设定执行计划，并设定应用程序的执行日志输出，将日志内容分类规整，做到可通过前段web端下载查看具体的内容。

所述的步骤②中统一在线作业任务管理模块还提供指定条件的检索功能，对非管理员用户，只能查询当前用户提交的作业任务，管理员角色账号可查询全部作业任务信息，可点击下载或查看详细报告链接，提供作业任务执行的详细内容。

所述的步骤②中作业任务基本信息的配置项包括程序类型、执行引擎、任务名称、执行用户、计划执行时间、执行程序参数、是否接收状态通知、优先级、任务描述。

所述的步骤②中接收状态通知的配置项包括接收方式、状态定制、邮箱地址、手机号、免打扰时间。

所述的步骤④中应用程序执行模块还负责对已经执行完成，且设置了计划任务的记录，做清理处理，避免出现冗余过期的任务记录。

一种大数据管理平台的的作业任务管理系统，应用于一种大数据管理平台的的作业任务管理方法，包括：

Web端统一在线作业任务管理模块，负责根据用户权限在线提交配置作业任务应用程序、配置状态接收通知信息和制定执行作业任务计划功能；

Server端应用程序调度及状态维护模块，负责对作业任务应用程序执行时的调度以及作业任务状态的集中维护功能；

Agent端应用程序执行模块，负责配置定时计划任务，根据用户自定义的作业任务执行计划和Server端的调度，对当前Agent节点需要执行的作业列表和执行的具体时间做出响应，启动执行，并且对应用程序的执行日志的收集。