[发明专利]一种离线任务延时告警系统、方法及计算机系统

说明书

本发明公开了一种离线任务延时告警系统、方法及计算机系统，所述告警系统包括：采集模块，用于采集系统历史离线任务数据及当前离线任务数据；历史时间获取模块，用于根据所述历史离线任务数据获取历史离线任务完成时间点；预测模块，用于根据所述当前离线任务数据预测所述当前离线任务的处理时长；告警模块，用于根据所述当前离线任务实际执行时间点、所述历史离线任务完成时间点、所述当前离线任务的预测处理时长判断所述当前离线任务是否延时，并在延时时发出当前离线任务延时告警。本发明可以智能、及时、准确发出任务延时告警。

技术领域

本发明涉及大数据技术领域，尤其涉及一种离线任务延时告警系统、方法及计算机系统。

背景技术

随着大数据应用的逐渐普及,大数据场景下分析将得到更大范围的应用，公司离线任务呈几何式增长，目前针对离线任务监控的告警主要提供了失败、超时、关键任务告警等配置

目前针对离线任务监控存在几个问题：需要人工对任务进行配置，工作量大；告警时间全部人工按照经验值进行配置，未能及时提供相应策略进行及时调整。

发明内容

本发明的目的是提供一种离线任务延时告警系统、方法及计算机系统，可以智能、及时、准确发出任务延时告警。

本发明公开了一种离线任务延时告警系统，所述告警系统包括：

采集模块，用于采集系统历史离线任务数据及当前离线任务数据；

历史时间获取模块，用于根据所述历史离线任务数据获取历史离线任务完成时间点；

预测模块，用于根据所述当前离线任务数据预测所述当前离线任务的处理时长；

告警模块，用于根据所述当前离线任务实际执行时间点、所述历史离线任务完成时间点、所述当前离线任务的预测处理时长判断所述当前离线任务是否延时，并在延时时发出当前离线任务延时告警。

优选的，所述历史离线任务数据包括历史任务开始时间点和结束时间点，所述当前离线任务数据包括当前离线任务数据量、当前离线任务复杂度及当前离线任务可用资源中的至少一种。

优选的，所述告警系统还包括任务异常剔除模块，用于对所述历史离线任务数据中的异常数据进行剔除；

所述历史时间获取模块，具体用于根据剔除异常数据后的所述历史离线任务数据和TP95计算规则获取历史离线任务完成时间点。

优选的，所述告警模块包括告警计算模块、短信告警模块、监控模块和电话告警模块；

所述告警计算模块，用于计算所述当前离线任务实际执行时间点与所述历史离线任务完成时间点的差值，以及所述差值是否超过所述当前离线任务的预测处理时长时；

所述短信告警模块，用于在所述差值超过所述当前离线任务的预测处理时长时发出短信告警；

所述监控模块，用于在预设时间内未监控到针对所述短信告警的处理反馈信息时发送指令至所述电话告警模块；

所述电话告警模块，用于根据所述指令发出电话告警。

优选的，所述系统还包括上游依赖根任务判断模块，用于判断所述当前离线任务是否具有上游依赖根任务及所述上游依赖根任务是否完成；

所述电话告警模块，具体用于在所述当前离线任务具有上游依赖根任务且所述上游依赖根任务均完成时，若根据所述上游依赖根任务的最大延迟时间、所述当前离线任务实际执行时间点、所述历史离线任务完成时间点、所述当前离线任务的预测处理时长判断所述当前离线任务延时且在预设时间内未监控到针对所述短信告警的处理反馈信息时，进行电话告警。

本发明另一方面还公开一种用于所述的离线任务延时告警系统的告警方法，所述告警方法包括步骤：