[发明专利]基于机器学习的数据实时监控方法以及装置

说明书

本申请公开了一种基于机器学习的数据实时监控方法以及装置，具体实现方案为：方法包括：采用历史指标数据的真实值训练多层结构预测器，多层结构预测器中每层结构包括多个不同类型的预测器；将待预测的未来时间段输入至训练完成的多层结构预测器中，输出未来指标数据的预测值；根据未来指标数据的预测值和历史预测误差，计算告警阈值范围；在未来指标数据的真实值超出告警阈值范围的情况下，触发告警。由于多层结构预测器能够更准确的预测未来时期监控对象的指标数据，所以提高了告警阈值范围的准确性，告警阈值范围能够更好的随着不停变化的指标数据进行适应性的调整，不仅无需人工设置固定的告警阈值范围，还保证了告警的准确性，减少误报漏报。

技术领域

本申请涉及机器学习领域，尤其涉及基于机器学习的数据实时监控领域。

背景技术

业务监控主要侧重对业务系统中的业务状态的指标数据进行实时监控，以便于进行深入的统计分析，帮助业务方发现问题，定位问题根源。当业务系统出现故障时，能够及时准确的发现故障，对于维护业务系统稳定至关重要。由于业务系统出现故障的情况通常反应在一定时间段内业务状态的指标数据的变化。当监控对象的时延指标数据中的某一项出现异常时，就会进行告警，工作人员会根据告警及时处理故障。

现有的对监控方式主要依靠人工划定统一的告警阈值界限。然而，由于每个监控对象的数据特性不同，例如，平均处理时间各不相等，从一毫秒到一千五百毫秒不等，若划定统一的告警阈值界限，则很难适配大部分对象，出现极多的漏报和误报。或者，还可以动态调整告警阈值界限。例如，使用线性回归预测告警阈值界限，将一段时间内的最大值和最小值作为上下告警阈值界限等。然而，划定的动态阈值无法做到适配大量监控对象，或者，划定的动态阈值对某些对象来说只有部分适配，其余部分阈值范围过大或过小，导致较多漏报或误报。

发明内容

本申请实施例提供一种基于机器学习的数据实时监控方法以及装置，以解决相关技术存在的问题，技术方案如下：

第一方面，提供了一种基于机器学习的数据实时监控方法，包括：

采用历史指标数据的真实值训练多层结构预测器，多层结构预测器中每层结构包括多个不同类型的预测器；

将待预测的未来时间段输入至训练完成的多层结构预测器中，输出未来指标数据的预测值；

根据未来指标数据的预测值和历史预测误差，计算告警阈值范围；

在未来指标数据的真实值超出告警阈值范围的情况下，触发告警。

在一种实施方式中，多个不同类型的预测器包括弹性网络预测器、决策树预测器、k近邻预测器、随机森林预测器、套索回归预测器、支持向量回归预测器以及梯度提升预测器。

在一种实施方式中，采用历史指标数据的真实值训练多层结构预测器，包括：

采用历史指标数据的真实值分别训练多个不同类型的第N-1层预测器，训练完成的第N-1层预测器用于预测历史指标数据的第N-1实际预测值；

采用全部的第N-1实际预测值混合得到的混合数据集和历史指标数据的目标预测值，训练至少一个第N层预测器，训练完成的第N层预测器用于预测历史指标数据的第N实际预测值，其中，N大于或等于2；

在层数N达到对应预设值的情况下，多个训练完成的第一层预测器至训练完成的第N层预测器构成多层结构预测器。

在一种实施方式中，还包括：

在所述层数N未达到对应预设值的情况下，返回执行所述采用全部的第N-1实际预测值混合得到的混合数据集和历史指标数据的目标预测值，训练至少一个第N层预测器的步骤。

在一种实施方式中，采用历史指标数据的真实值分别训练多个不同类型的第N-1层预测器，训练完成的第N-1层预测器用于预测历史指标数据的第N-1实际预测值，包括：