[发明专利]作业运行预警方法、装置、介质及电子设备

说明书

本申请属于人工智能技术领域，具体涉及一种作业运行预警方法、作业运行预警装置、计算机可读介质、电子设备以及计算机程序产品。该方法包括：对作业运行日志进行解析处理，得到与时间戳相关联的监控数据；按照具有不同窗口尺度的多个时间窗口对所述监控数据进行分组处理，得到对应于所述多个时间窗口的多组窗口数据；对所述多组窗口数据进行特征映射处理，得到对应于待预测时间窗口的预测数据；当超出阈值区间的所述预测数据的数量超过数量阈值时，根据所述预测数据触发作业运行异常的预警信息。本申请实施例可以对大数据作业平台的作业运行情况进行准确预警。

技术领域

本申请属于人工智能技术领域，具体涉及一种作业运行预警方法、作业运行预警装置、计算机可读介质、电子设备以及计算机程序产品。

背景技术

随着信息化时代不断地推进及提升，互联网行业的技术也在与时俱进，随之而来的各个领域的数据也会越来越多，对于海量数据处理的需求也与日剧增。

监测大数据平台的作业运行情况，针对各类作业的集群存储、节点运行情况、CPU、内存、虚拟资源、业务作业执行的占用情况及使用情况进行预测，预判故障，在出现故障前做好应对措施及保障，是提高平台稳定性的关键，也是数据治理工作的重要保障环节。因此，如何对大数据平台的作业运行情况进行准确预警是本领域亟待解决的问题。

发明内容

本申请提供一种作业运行预警方法、作业运行预警装置、计算机可读介质、电子设备以及计算机程序产品，目的在于对大数据作业平台的作业运行情况进行准确预警。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供一种作业运行预警方法，该方法包括：

对作业运行日志进行解析处理，得到与时间戳相关联的监控数据；

按照具有不同窗口尺度的多个时间窗口对所述监控数据进行分组处理，得到对应于所述多个时间窗口的多组窗口数据；

对所述多组窗口数据进行特征映射处理，得到对应于待预测时间窗口的预测数据；

当超出阈值区间的所述预测数据的数量超过数量阈值时，根据所述预测数据触发作业运行异常的预警信息。

根据本申请实施例的一个方面，提供一种作业运行预警装置，该装置包括：

解析模块，被配置为对作业运行日志进行解析处理，得到与时间戳相关联的监控数据；

分组模块，被配置为按照具有不同窗口尺度的多个时间窗口对所述监控数据进行分组处理，得到对应于所述多个时间窗口的多组窗口数据；

映射模块，被配置为对所述多组窗口数据进行特征映射处理，得到对应于待预测时间窗口的预测数据；

预警模块，被配置为当超出阈值区间的所述预测数据的数量超过数量阈值时，根据所述预测数据触发作业运行异常的预警信息。

根据本申请实施例的一个方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如以上技术方案中的作业运行预警方法。

根据本申请实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器被配置为执行所述可执行指令来实现如以上技术方案中的作业运行预警方法。

根据本申请实施例的一个方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如以上技术方案中的作业运行预警方法。