[发明专利]一种基于机器学习的异常检测方法和系统

说明书

本发明公开了一种基于机器学习的异常检测方法和系统，所述方法包括：获取系统监控数据；基于至少两种机器学习方法分别构建异常检测模型；通过每个异常检测模型分别对监控数据进行检测，获取监控数据的异常情况；设置第一阈值；判断异常情况为异常的异常检测模型比例是否在第一阈值以上；若是，判定监控数据为最终异常。通过不同的机器学习方法构建多个异常检测模型，每个异常检测模型独立对监控数据进行处理，不同的机器学习方法检测原理和检测结果存在差异，当检测结果为异常的比例超过第一阈值时，为最终异常；避免了一种机器学习方法的误差，使判定更为准确，监控数据通过异常检测模型进行自动处理，利于降低误报率和漏报率。

技术领域

本发明涉及计算机技术领域，具体涉及一种基于机器学习的异常检测方法和系统。

背景技术

目前互联网的高速发展加速了各行各业企业的信息化转型，随着企业互联网业务的不断扩大，企业IT系统中诸如计算、存储、网络、服务、应用、数据等各类资源的数量也在与日俱增。与此同时，资源故障发生的频率也在增加，为保障企业业务持续稳定地运行，构建一套集中监控这些资源的企业运维体系变得越来越重要。

传统的运维方法主要通过设定固定阈值的方式进行资源关键性能指标的监控，但随着微服务、分布式等技术的兴起，面对监控数据量庞大、监控指标类别繁多的现代企业运维，传统的运维方式越来越难以适应新时代的需求，逐渐显现出许多弊端：

(1)阈值检测的方法需要运维人员根据经验来设置合理的指标阈值，存在主观因素，且只能对监控值进行简单检测，无法发现更复杂的异常情况，例如周性监控指标中不符合同期规律的异常波动，最终产生大量误报、漏报情况，准确率较低。当监控指标数量较多时，该检测方法需要投入大量人力对每个指标进行阈值配置，导致企业运维监控的成本增加。

(2)运维人员通过人工方式查看各项指标数据，需要耗费大量的人力，也易发生漏看指标数据的情况，难以进行大量数据的监控。

(3)系统每天都会产生大量的异常事件，而将真正需要关注的事件淹没，消耗运维人员精力的同时也容易造成严重的损失。此外，在大量事件处理的过程中，由于信息不同步、人员变更、运维资源紧缺等原因，难以合理安排运维人员的时间，时常会出现异常处理不及时的现象，导致运维效率低下。

发明内容

针对现有技术中存在的上述技术问题，本发明提供一种基于机器学习的异常检测方法和系统，通过机器学习的方式进行异常检测，利于降低误报率和漏报率。

本发明公开了一种基于机器学习的异常检测方法，所述方法包括：获取系统监控数据；基于至少两种机器学习方法分别构建异常检测模型；通过每个所述异常检测模型分别对所述监控数据进行检测，获取所述监控数据的异常情况，其中，所述异常情况包括正常和异常；设置第一阈值；判断所述异常情况为异常的异常检测模型比例是否在第一阈值以上；若是，判定所述监控数据为最终异常。

优选的，本发明的方法还包括预判定的方法：根据所述监控数据，设置第二阈值；将大于所述第二阈值的监控数据，判定为疑似异常；将所述疑似异常发送给所述异常检测模型进行异常检测。

优选的，本发明的方法还包括告警的方法：根据所述最终异常，生成告警信息。

优选的，本发明的方法还包括异常过滤的方法：设置关注指标；基于所述关注指标，筛选所述最终异常，获得第一异常。

优选的，本发明的方法还包括告警压缩的方法：设置压缩匹配规则；

基于所述压缩匹配规则，对所述第一异常进行匹配，并判断是否匹配成功；

若匹配成功，将所述第一异常标记为第二异常；

判断所述第二异常是否满足预设条件，所述预设条件为在一定时间之前，有同源或同因的第二异常生成告警；