[发明专利]数字化指标作业的监控方法、系统及相关装置

说明书

本发明公开数字化指标作业的监控方法、系统及相关装置，可以通过当监测到发生集群切换的情况时，作业管控平台根据预先针对各批处理作业建立的数据库表信息，生成目标数字化指标的作业链路和作业层级信息；针对任一作业链路，均执行：作业管控平台根据作业标识，获取P9调度平台的调度日志和鲁班调度平台的调度日志；作业管控平台根据各调度日志，分别确定作业链路的各批处理作业的作业运行状态；作业管控平台根据作业链路的各批处理作业的作业标识、作业运行状态和作业层级信息，生成目标数字化指标的作业监控信息。本发明可以针对重要的批处理作业及数据线场景(如数字化指标)进行作业链路层面的监控，监控较为全面和可靠。

技术领域

本发明涉及大数据领域，特别涉及一种数字化指标作业的监控方法、系统及相关装置。

背景技术

目前企业在进行批处理作业管理时，经常将多种调度方式结合起来，共同形成批处理作业调度策略，对批处理作业形成有序的管控。这些调度方式如下：

(1)Crontab命令。在linux、Unix、AIX等系统中，Crontab是用于设置周期性执行的命令，控制程序或脚本按照所设置的周期性、时间窗口运行。可定义星期、月份、日期、时、分等属性。在实际应用中，通过Crontab对批量作业按照指定的时间点及周期进行调度，但由于Crontab不能管理多个批处理作业间的依赖关系，因此仅作为任务的触发工具。

(2)数据仓库技术ETL产品的调度组件。ETL工具在IT系统建设中使用的愈发广泛，常用的ETL工具有IBM的DataStage、Informatica的Powercenter、SAP的DataService、开源的kettle等。另外，现在大数据产品、报表产品、数据库产品自带的工具也非常丰富。在实际的系统开发过程中，ETL工具的调度模块主要用来组建任务流程，实现批处理作业运行的流程控制，满足作业的前后依赖关系的管理。

现有作业监控仅支持作业维度和作业流维度监控，监控不够全面。

发明内容

鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的数字化指标作业的监控方法、系统及相关装置。

第一方面，一种数字化指标作业的监控方法，应用于一种数字化指标作业的监控系统，所述系统至少包括：SOD集群、MPP集群和作业管控平台，其中，所述作业管控平台搭载有P9调度平台和鲁班调度平台，所述P9调度平台与所述SOD集群通信连接，所述鲁班调度平台与所述MPP集群通信连接；

所述监控方法，包括：

当监测到发生集群切换的情况时，所述作业管控平台根据预先针对各批处理作业建立的数据库表信息，生成目标数字化指标的作业链路和作业层级信息，其中，所述作业链路包括多个所述批处理作业，所述作业层级信息表征所述作业链路的各批处理作业分别与其他批处理作业之间的依赖层级关系，相同批处理作业在所述P9调度平台和所述鲁班调度平台中配置的作业标识相同；

针对任一所述作业链路，均执行：所述作业管控平台根据作业标识，获取所述P9调度平台针对所述作业链路的各批处理作业的调度日志和获取所述鲁班调度平台针对所述作业链路的各批处理作业的调度日志；

所述作业管控平台根据各所述调度日志，分别确定所述作业链路的各批处理作业的作业运行状态，其中，所述作业运行状态表征相应批处理作业的当前运行情况；

所述作业管控平台根据所述作业链路的各批处理作业的作业标识、作业运行状态和作业层级信息，生成所述目标数字化指标的作业监控信息。

结合第一方面，在某些可选的实施方式中，在当监测到发生集群切换的情况时之前，所述方法还包括：

若所述SOD集群故障使得所述作业管控平台切换至所述MPP集群，则所述作业管控平台将在所述SOD集群中运行的各作业流进行挂起，并记录被挂起的各批处理作业的当前业务日期，其中，所述作业流包括多个所述批处理作业；