[发明专利]系统异常检测方法、装置、设备及存储介质

说明书

本发明涉及人工智能，提供一种系统异常检测方法、装置、设备及存储介质。所述方法包括：将待检测系统的标记日志、无标记日志及扩充日志分别输入训练模型集中三个相同的训练模型中进行训练，输出三者的各异常等级的概率分布；然后计算训练模型输出的交叉熵损失、一致性损失；再根据一致性损失预测无标记日志与扩充日志的异常等级，以及根据交叉熵损失对训练模型集进行迭代，直到训练模型集收敛，得到日志异常检测模型；最后通过日志异常检测模型对系统运行中的异常日志进行检测。此外，本发明还涉及区块链技术，其标记日志、无标记日志及扩充日志可存储于区块链中。通过优化模型训练方式，防止模型过拟合，降低检测模型对系统中异常点的检测难度。

技术领域

本发明涉及人工智能决策，尤其涉及一种系统异常检测方法、装置、设备及存储介质。

背景技术

随着系统规模的变大、复杂度的提高、监控覆盖的完善，监控数据量越来越大，运维人员无法从海量监控数据中发现质量问题。智能化的异常检测就是要通过AI算法，自动、实时、准确地从监控数据中发现异常，为后续的诊断、自愈提供基础。异常检测是AIOps(Algorithmic IT Operations，智能运营)系统中的一项非常基础但是十分重要的功能，主要是通过算法和模型去自动的挖掘发现KPI时间序列数据中的异常行为，为后续的报警，自动止损，根因分析等提供必要的决策依据。

但是在实际的应用场景下，由于正常数据一般占总数据量的很大比例，而异常点的数据十分稀少，给异常检测带来了极大的困难。在检测模型的训练阶段，为了保证模型训练样本的正负均衡，传统的解决思路主要是：在模型检测的过程中对正常样本欠采样(丢弃一部分数据)和异常样本过采样(重复一部分数据)，前者会丢失大量样本信息，造成模型过拟合，泛化能力不佳；对于后者，简单的随机抽样，也会使模型产生过拟合风险。故无论是本身异常点的数据量稀少，还是用于异常点的数据检测模型的准确构建难度大，都使得智能运营系统中的数据检测难度增加。

发明内容

本发明的主要目的在于解决智能运营系统的异常检测难度大的问题。

本发明第一方面提供了一种系统异常检测方法，包括：

获取待检测系统的标记日志、无标记日志，并对所述无标记日志进行扩充，得到扩充日志；

将所述标记日志、所述无标记日志、所述扩充日志分别输入三个相同的异常等级训练模型中进行训练，对应输出所述标记日志的各异常等级的第一概率分布、所述无标记日志的各异常等级的第二概率分布、所述扩充日志的各异常等级的第三概率分布，其中，所述三个相同的异常等级训练模型组成异常等级训练模型集；

计算第一概率分布与所述标记日志的预设异常等级标记对应的交叉熵损失，以及计算所述第二概率分布与所述第三概率分布之间的一致性损失；

根据所述一致性损失预测所述无标记日志与所述扩充日志的异常等级标记，以及根据所述交叉熵损失对所述异常等级训练模型集进行迭代，直到所述异常等级训练模型集收敛，得到日志异常检测模型；

获取待检测系统的待检测日志，并将所述待检测日志输入所述日志异常检测模型进行检测，输出所述待检测日志对应的异常等级，并将待检测日志对应的异常等级作为当前系统运行状态的分析结果。

可选的，在本发明第一方面的第一种实现方式中，所述对所述无标记日志进行扩充，得到扩充日志包括：

解析所述无标记日志，得到多个带有不同语义的日志字段；

根据预置语义结构先验知识和所述日志字段的出现频率，从所述日志字段中筛选与异常等级相关的关键字段；

获取所述关键字段对应的一个或多个同义字段，并以所述同义字段替换对应的关键字段；