[发明专利]一种监控任务运行的方法和设备

说明书

本申请实施例涉及通信技术领域，特别涉及一种监控任务运行的方法和设备，用以针对全链路ETL任务进行监控预警。本申请实施例的方法包括：检测每个ETL任务的状态；根据检测的状态，从至少一个ETL任务中确定满足设定的故障条件的故障ETL任务；针对一个故障ETL任务，确定所述故障ETL任务的第一责任方和所述故障ETL任务的至少一个下游的ETL任务的第二责任方。由于能够在检测到故障ETL任务后，确定故障ETL任务的第一责任方和至少一个下游的ETL任务的第二责任方，从而能够针对全链路ETL任务进行监控预警，对链路上受到影响的ETL任务进行快速定位，为后续及时处理提供了基础。

技术领域

本申请涉及数据处理技术领域，特别涉及一种监控任务运行的方法和设备。

背景技术

ETL(Extract-Transform-Load，即数据抽取、转换、装载)作为数据仓库的核心，主要负责将数据从数据源向目标数据仓库转化，是实施数据仓库的重要环节。

ETL任务是指一个将数据从源数据库导出，并且按照一定规则进行转换，最后导入到目标数据库的过程。数据仓库新产生一个ETL任务后，需要为任务配置调度属性，以及配置该任务与其他任务之间的依赖关系，以保证新任务产生后，可以按预期的频率、规则以及顺序来调度执行，产出数据给业务系统使用。每个ETL任务既有可能依赖于其他任务，也有可能被其他的任务依赖，所有的ETL任务之间的相互关系就形成了一棵庞大的任务树，从任何一个树顶任务到叶子任务，都会形成一条数据链路。

由于任务之间相互依赖，如果链路中的一个任务运行出现问题(例如任务延迟、任务运行失败等)，会导致下游所有依赖它的ETL任务也无法按时产生数据，每个ETL任务的责任方(责任人或者责任系统)都应该清楚的了解自己负责的任务的影响范围以及是否被其他任务影响，并做到及时快速响应问题。

目前如果链路中的一个任务运行出现问题，针对出现问题的任务进行预警，预警效果比较差。

发明内容

本申请提供一种监控任务运行的方法和设备，用以解决现有技术中存在的目前只能针对出现问题的任务进行预警，预警效果比较差的问题。

本申请实施例提供的一种监控任务运行的方法，该方法包括：

检测每个ETL任务的状态；

根据检测的状态，从至少一个ETL任务中确定满足设定的故障条件的故障ETL任务；

针对一个故障ETL任务，确定所述故障ETL任务的第一责任方和所述故障ETL任务的至少一个下游的ETL任务的第二责任方。

本申请实施例根据检测的状态，从至少一个ETL任务中确定满足设定的故障条件的故障ETL任务；针对一个故障ETL任务，确定所述故障ETL任务的第一责任方和所述故障ETL任务的至少一个下游的ETL任务的第二责任方。由于能够在检测到故障ETL任务后，确定故障ETL任务的第一责任方和至少一个下游的ETL任务的第二责任方，从而能够针对全链路ETL任务进行监控预警，对链路上受到影响的ETL任务进行快速定位，为后续及时处理提供了基础。

可选的，根据检测的状态，从至少一个ETL任务中确定满足设定的故障条件的故障ETL任务之前，还包括：

检测每个ETL任务的重跑次数；

根据检测的状态，从至少一个ETL任务中确定满足设定的故障条件的故障ETL任务，包括：

根据检测的状态和重跑次数，从至少一个ETL任务中确定满足设定的故障条件的故障ETL任务。

由于根据检测的状态和重跑次数确定故障ETL任务，使得确定的故障ETL任务更准确。

可选的，检测每个ETL任务的状态和重跑次数，包括：

周期检测每个ETL任务的状态和重跑次数。