[发明专利]一种监控任务运行的方法和设备有效
申请号: | 201610064486.4 | 申请日: | 2016-01-29 |
公开(公告)号: | CN107025224B | 公开(公告)日: | 2020-10-16 |
发明(设计)人: | 吴媛媛 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25 |
代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 张恺宁 |
地址: | 英属开曼群岛大开曼*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 监控 任务 运行 方法 设备 | ||
1.一种监控任务运行的方法,其特征在于,该方法包括:
检测每个数据抽取、转换、装载ETL任务的状态;以及检测每个ETL任务的重跑次数;
根据检测的状态和重跑次数,从至少一个ETL任务中确定满足设定的故障条件的故障ETL任务;
针对一个故障ETL任务,确定所述故障ETL任务的第一责任方和所述故障ETL任务的至少一个下游的ETL任务的第二责任方;
其中,所述故障条件包括下列条件中的部分或全部:
本次运行和上次运行都是失败状态,且重跑次数未发生变化;
本次运行和上次运行都是不成功状态,且当前监测到的重跑次数比前一次监测到的重跑次数大。
2.如权利要求1所述的方法,其特征在于,周期检测每个ETL任务的状态和重跑次数。
3.如权利要求1~2任一所述的方法,其特征在于,确定所述故障ETL任务的第一责任方和所述故障ETL任务的至少一个下游的ETL任务的第二责任方之后,还包括:
根据预先设定的责任方和通知方式的绑定关系,确定所述故障ETL任务的第一责任方对应的第一通知方式,以及所述故障ETL任务的至少一个下游的ETL任务的第二责任方对应的第二通知方式;
根据所述第一通知方式向所述第一责任方发送故障信息,以及根据所述第二通知方式向所述第二责任方发送预警信息。
4.如权利要求3所述的方法,其特征在于,所述故障信息包括下列信息中的部分或全部:
故障ETL任务的标识、下游的ETL任务的标识、故障ETL任务的故障原因和故障ETL任务故障持续的时长;
所述预警信息包括下列信息中的部分或全部:
下游的ETL任务的标识、上游的故障ETL任务的标识、故障ETL任务的故障原因和故障ETL任务故障持续的时长。
5.一种监控任务运行的设备,其特征在于,该设备包括:
检测模块,用于检测每个ETL任务的状态;以及检测每个ETL任务的重跑次数
任务确定模块,用于根据检测的状态和重跑次数,从至少一个ETL任务中确定满足设定的故障条件的故障ETL任务;
责任确定模块,用于针对一个故障ETL任务,确定所述故障ETL任务的第一责任方和所述故障ETL任务的至少一个下游的ETL任务的第二责任方;
其中,所述故障条件包括下列条件中的部分或全部:
本次运行和上次运行都是失败状态,且重跑次数未发生变化;
本次运行和上次运行都是不成功状态,且当前监测到的重跑次数比前一次监测到的重跑次数大。
6.如权利要求5所述的设备,其特征在于,所述检测模块具体用于:
周期检测每个ETL任务的状态和重跑次数。
7.如权利要求5~6任一所述的设备,其特征在于,所述责任确定模块还用于:
确定所述故障ETL任务的第一责任方和所述故障ETL任务的至少一个下游的ETL任务的第二责任方之后,根据预先设定的责任方和通知方式的绑定关系,确定所述故障ETL任务的第一责任方对应的第一通知方式,以及所述故障ETL任务的至少一个下游的ETL任务的第二责任方对应的第二通知方式;根据所述第一通知方式向所述第一责任方发送故障信息,以及根据所述第二通知方式向所述第二责任方发送预警信息。
8.如权利要求7所述的设备,其特征在于,所述故障信息包括下列信息中的部分或全部:
故障ETL任务的标识、下游的ETL任务的标识、故障ETL任务的故障原因和故障ETL任务故障持续的时长;
所述预警信息包括下列信息中的部分或全部:
下游的ETL任务的标识、上游的故障ETL任务的标识、故障ETL任务的故障原因和故障ETL任务故障持续的时长。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610064486.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种面向多租户的缓冲区管理方法及服务器
- 下一篇:笔(AD-R203A)