[发明专利]一种基于机器学习的多指标异常检测方法及其应用系统

说明书

本发明公开了一种基于机器学习的多指标异常检测方法及其应用系统，其基于RS‑hash的多指标算法，依赖于随机散列，散列的随机性体现在探测分布范围、探测样本和子空间维度三个方面，通过分析随机局部参数、偏置参数、子维度估计点相关的局部子空间区域的数据分布，并在不同大小的局部子空间上平均这些分布，从而检测异常。

技术领域

本发明涉及智能化运维技术领域，特别涉及一种基于机器学习的多指标异常检测方法及其应用系统。

背景技术

近年来，利用机器学习方法检测异常、故障的思想引起了研究界的极大兴趣。将基于机器学习的异常或故障检测方法落地到运维监控方向，也成为现如今企业在运维监控方向研究的一项重要课题。其方法大致可分为有监督的方法和无监督的方法。

有监督方法依赖于使用有标记的训练数据来准确地识别以前发生过的已知异常。无监督的方法不需要有标签的训练数据来发现问题，更适合现有大规模未标注训练数据的模型训练工作。

针对运维领域中的异常监控，因为存在大量未知数据且规则需要不断更新，如果标注数据需耗费大量的人力，无监督的方法更适合当前的运维监控领域的异常检测。

而目前，在结合机器学习和数据技术来实现信息系统运维监控的异常识别方面，多采用基于密度的异常点检测方法，其中LOF算法(Local Outlier Factor，局部离群因子检测方法)是代表性的算法。该算法会给数据集中的每个点计算一个离群因子LOF，通过判断LOF是否接近于1来判定是否为离群因子。

传统LOF算法通过判断局部离群因子LOF的值探测异常，模型适用于基于不同密度的数据集，泛化能力差。另外，算法训练阶段对每个训练样本进行哈希运算，时间复杂度为w*O(n)，w为常数，与弱分类器的数量线性相关，测试阶段对每个点进行测试，时间复杂度为O(n)，整个过程的时间复杂度与样本数量线性相关；LOF算法在检测过程中需要遍历数据集计算每个点的LOF值，时间复杂度随样本数量呈指数级增长，为O(n2)；由于样本正常点的数量一般远远多于异常点的数量，而LOF方法通过比较所有数据点的LOF值判断离群程度，浪费了大量空间资源，造成时间成本太高，除非加大物理设备投入，否则将无法及时快速的产生准确告警，对信息系统运维造成困扰，同时由于中间结果的存储而浪费空间资源。详见图1所示的流程图。

现有技术的缺点在于，算法复杂，产生了大量没必要的计算，运算速度慢，造成时间成本太高，耗用多余的存储空间资源。

发明内容

为了克服现有技术中存在的技术缺陷，提高异常检测的效率，降低时间成本，更加快速、有效、低成本的实现异常检测，本发明提供一种基于机器学习的多指标异常检测方法及其应用系统。

一方面，提供一种基于机器学习的多指标异常检测方法，所述方法包括如下步骤：

S101，准备数据格式如下的数据集D,包含n条数据，每条数据包含d个维度(d≥2)，每个维度均为任意大小的数值。