[发明专利]一种基于对比对抗训练的日志序列异常检测方法

权利要求书

1.一种基于对比对抗训练的日志序列异常检测方法，其特征在于，包括训练阶段和检测阶段；

所述训练阶段包括：

S1、获取日志数据集，并对日志数据集中的日志数据进行解析获取结构化的日志模板；

S2、按会话ID或滑动窗口由所述日志模板获取日志序列以及日志序列对应的标签从而构建训练数据集合，所述日志序列中包括正样本日志序列和负样本日志序列；

S3、判断检测模型的损失是否趋于稳定，如果还未趋于稳定则将所述训练数据集合中的部分日志序列输入到BERT异常检测模型，对所述BERT异常检测模型进行有监督训练后，再次执行步骤S3，如果检测模型的损失趋于稳定，则执行步骤S4；

S4、获取模型训练过程中的梯度数据，并使用FGM进行对抗训练扰动BERT的嵌入层；

S5、将正样本日志序列和负样本日志序列输入到被扰动的BERT异常检测模型中，生成被扰动的语义向量后取消对嵌入层的扰动并且再次生成未被扰动的语义向量；

S6、使用对比学习并且继续保持原本的有监督训练任务来对模型进行训练；

S7、判断训练集中是否已经没有日志序列，如果训练集中已经没有了需要训练的日志序列则停止训练，得到训练后的异常检测模型，否则，转步骤S4；

所述检测阶段包括：

S8、将待检测的日志序列输入到训练后的异常检测模型，查看模型的输出，根据输出结果判断日志序列是否异常。

2.根据权利要求1所述的一种基于对比对抗训练的日志序列异常检测方法，其特征在于，对日志数据集中的日志数据进行解析获取结构化的日志模板，包括使用Drain算法提取日志条目中的日志模板。

3.根据权利要求1所述的一种基于对比对抗训练的日志序列异常检测方法，其特征在于，将所述训练数据集合中的部分日志序列输入到BERT异常检测模型，对所述BERT异常检测模型进行有监督训练，包括：

设一个batch的日志序列训练集为其中N为一个batch的大小，x_i为训练集中第i个日志序列，y_i为与之对应的真实标签，训练的损失函数为：

其中，f为模型的forward函数，θ为模型参数，f_θ(x_i)即为模型的预测结果，训练阶段通过调整模型参数，使损失函数达到最小。

4.根据权利要求1所述的一种基于对比对抗训练的日志序列异常检测方法，其特征在于，使用FGM进行对抗训练扰动BERT的嵌入层，包括：

设训练时产生的梯度为g，则根据FGM算法对嵌入层产生的扰动大小为：

r_adv＝ε·g/||g||₂

其中ε为超参数，||g||₂代表对梯度求二范数。

5.根据权利要求1所述的一种基于对比对抗训练的日志序列异常检测方法，其特征在于，将正样本日志序列和负样本日志序列输入到被扰动的BERT异常检测模型中，生成被扰动的语义向量后取消对嵌入层的扰动并且再次生成未被扰动的语义向量，包括：

选取出当前batch中的日志序列中获取正样本日志序列构建一个正样本集合；

获取嵌入层被扰动的BERT生成的日志序列和正负样本日志序列集合的语义向量；

取消对BERT嵌入层的扰动；

获得原嵌入层生成的日志序列和正负样本日志序列集合的语义向量。