[发明专利]系统异常检测方法、装置、设备及存储介质

权利要求书

1.一种系统异常检测方法，其特征在于，所述系统异常检测方法包括：

获取待检测系统的标记日志、无标记日志，并对所述无标记日志进行扩充，得到扩充日志；其中，所述标记日志为：从所述无标记日志中筛选并进行异常等级标记的日志；

将所述标记日志、所述无标记日志、所述扩充日志分别输入三个相同的异常等级训练模型中进行训练，对应输出所述标记日志的各异常等级的第一概率分布、所述无标记日志的各异常等级的第二概率分布、所述扩充日志的各异常等级的第三概率分布，其中，所述三个相同的异常等级训练模型组成异常等级训练模型集；

计算所述第一概率分布与所述标记日志的预设异常等级之间的交叉熵损失，以及计算所述第二概率分布与所述第三概率分布之间的一致性损失；

根据所述一致性损失预测所述无标记日志与所述扩充日志的异常等级，以及根据所述交叉熵损失对所述异常等级训练模型集进行迭代，直到所述异常等级训练模型集收敛，得到日志异常检测模型；

获取当前系统的待检测日志，并将所述待检测日志输入所述日志异常检测模型进行检测，输出所述待检测日志对应的异常等级，并将待检测日志对应的异常等级作为当前系统运行状态的分析结果。

2.根据权利要求1所述的系统异常检测方法，其特征在于，所述对所述无标记日志进行扩充，得到扩充日志包括：

解析所述无标记日志，得到多个带有不同语义的日志字段；

根据预置语义结构先验知识和所述日志字段的出现频率，从所述日志字段中筛选与异常等级相关的关键字段；

获取所述关键字段对应的一个或多个同义字段，并以所述同义字段替换对应的关键字段；

根据随机字段处理策略，对所述同义字段与除所述关键字段外的其他日志字段进行拼接，得到多个对应的扩充日志，其中，所述随机字段处理策略包括对所述其他日志字段进行替换、删除、插入或交换。

3.根据权利要求1所述的系统异常检测方法，其特征在于，所述将所述标记日志、所述无标记日志、所述扩充日志分别输入三个相同的异常等级训练模型中进行训练，对应输出所述标记日志的各异常等级的第一概率分布、所述无标记日志的各异常等级的第二概率分布、所述扩充日志的各异常等级的第三概率分布包括：

将所述标记日志、所述无标记日志、所述扩充日志中的各日志数据的长度统一调整为预设长度，并构建对应的数据向量；

根据所述数据向量的长度，确定所述数据向量的特征维度，并根据所述特征维度对所述数据向量进行语义特征提取，得到初始语义特征；

对所述初始语义特征进行突出特征的筛选及组合，得到最终语义特征，并根据所述最终语义特征计算所述标记日志、所述无标记日志与所述扩充日志的异常等级的概率分布并输出。

4.根据权利要求1-3任一项所述的系统异常检测方法，其特征在于，所述计算所述第一概率分布与所述标记日志的预设异常等级之间的交叉熵损失包括：

根据所述第一概率分布与所述标记日志的预设异常等级标记，计算各标记日志的异常等级的正确预测概率；

根据预置模型训练参数与所述正确预测概率，计算所述第一概率分布的交叉熵损失，以用于衡量所述标记日志的异常等级预测与所述标记日志的真实异常等级之间的差异。

5.根据权利要求4所述的系统异常检测方法，其特征在于，所述根据所述交叉熵损失对所述异常等级训练模型集进行迭代，直到所述异常等级训练模型集收敛，得到日志异常检测模型包括：

根据所述交叉熵损失确定各标记日志对应的正确预测概率，并判断是否存在大于预设概率阈值的正确预测概率；

若是，则删除大于所述概率阈值的正确预测概率对应的第一概率分布，并继续对所述日志异常检测模型进行迭代，否则直接对所述日志异常检测模型进行迭代，并在所述日志异常检测模型迭代后更新所述模型训练参数；

计算所述交叉熵损失与所述一致性损失的和，得到对应的最终损失值，并判断所述最终损失值是否小于预设的最终损失阈值；

若所述最终损失值小于所述最终损失阈值，则所述异常等级训练模型集收敛并停止迭代，得到日志异常检测模型。