[发明专利]一种监控数据异常的检测方法、装置、设备及可读介质

说明书

本发明公开了一种监控数据异常的检测方法，包括：采集监控数据，并基于滑动窗口对监控数据进行分割以得到训练集和测试集/待检测数据；提取训练集中样本点的小波包分解特征与统计特征以构建监控数据的特征集，并基于卡方检验对特征集中的特征进行选择以排除冗余特征，得到最终训练集；基于最终训练集训练集成学习模型以得到异常检测模型；以及将测试集/待检测数据输入异常检测模型，以得到异常检测结果。本发明还公开了一种监控数据异常的检测装置、计算机设备和可读存储介质。本发明利用小波包分解与统计，提取时序数据中的瞬时变化与整体变化，并进行特征选择与增强，增强了异常检测模型的泛化能力，提高了单维监控数据异常检测的准确率。

技术领域

本发明涉及云计算平台技术领域，尤其涉及一种监控数据异常的检测 方法、装置、设备及可读介质。

背景技术

云平台也称为云计算平台，是指基于硬件资源和软件资源的服务，提 供计算、网络和存储能力。云平台监控系统不间断的从平台中采集大量时 序KPI，例如CPU使用率、网络吞吐量等，来判断云平台的运行状态。

随着云平台技术的越来越成熟，云平台规模也从最初的几台、十几台 上升到几百台甚至上千台，同时云平台自身的服务也越来越多、调用也越 来越复杂，使监控数据具有海量且复杂的特点。

传统云平台中针对KPI的异常监测大多采用阈值的方式，即运维人员 根据经验设置阈值，当KPI数据达到预设阈值时，产生异常告警。但实际 的应用过程中发现，阈值设置太依赖与经验，很难全面对繁杂的KPI准确 设置阈值。阈值太高，会对异常情况产生漏报，质量隐患难以发现；阈值 太低，往往会引发告警风暴，干扰运维人员的判断。另外，对于一些数据 抖动但低于阈值的情况，无法通过这种方式检测，会产生漏报。

综上，单纯基于阈值来判定异常的方式无法满足云平台中异常检测的 需求，这就要求我们使用机器学习和数据挖掘技术进行自动异常检测。但 在真实云平台监控中，异常发生概率比较低，难以积累大量异常样本，这 就导致在机器学习流程框架中需要具备自动化构建样本的能力，产生足够 的数据以支持异常检测模型的训练。另外由于时序监控数据复杂，有时序 数据的特点，即依赖于时间变化，用数值反应变化程度，这种变化可以有 多种模式，常见的时序数据模型有平稳型、波动型和周期型。在监控系统 中数据模式随业务改变而发生变化，这就要求在针对时序监控数据的异常 检测中，检测模型有足够的泛化能力在不同的数据模式下检测出异常。

发明内容

有鉴于此，本发明实施例的目的在于提出一种监控数据异常的检测方 法、装置、设备及可读介质，使用小波包分解特征与统计特征，提取时序 数据中的瞬时变化与整体变化，并使用卡方检验对特征进行选择，排除了 冗余特征带来的影响，之后使用自适应过采样的方法对特征样本集进行增 强，增强了异常检测模型的泛化能力，提高了单维监控数据异常检测的准 确率。

基于上述目的，本发明实施例的一方面提供了一种监控数据异常的检 测方法，包括以下步骤：采集监控数据，并基于滑动窗口对所述监控数据 进行分割以得到训练集和测试集/待检测数据；提取所述训练集中样本点的 小波包分解特征与统计特征以构建所述监控数据的特征集，并基于卡方检 验对所述特征集中的特征进行选择以排除冗余特征，得到最终训练集；基 于所述最终训练集对集成学习模型进行训练以得到异常检测模型；以及将所述测试集/待检测数据输入所述异常检测模型，以得到异常检测结果。

在一些实施方式中，提取所述训练集中样本点的小波包分解特征与统 计特征以构建所述监控数据的特征集包括：提取所述训练集中样本点的小 波包分解特征以表述所述监控数据的瞬时变化；提取所述训练集中样本点 的统计特征以表述所述监控数据的整体变化。

在一些实施方式中，提取所述训练集中样本点的小波包分解特征以表 述所述监控数据的瞬时变化包括：基于三层小波包分解将每个样本点的通 频带分解为八个频带，所述频带表述所述监控数据的瞬时变化信息。