[发明专利]结合双向切片GRU与门控注意力机制日志异常检测方法

权利要求书

1.一种结合双向切片GRU与门控注意力机制日志异常检测方法，其特征在于，所述结合双向切片GRU与门控注意力机制日志异常检测方法包括：使用spell在线解析日志，通过提取日志的log key，将日志解析为结构化序列，引入双向切片与门控注意力机制构建日志异常检测模型，并将解析到得到的特征序列作为日志异常检测模型的输入进行日志异常检测模型训练，利用训练好的日志异常检测模型进行日志异常检测；

所述结合双向切片GRU与门控注意力机制日志异常检测方法包括以下步骤：

步骤一，利用Spell从日志数据中解析出logkey，并利用Word2Vec工具训练log key向量；

步骤二，将logkey转换成固定长度的索引，每个索引对应一个logkey序列向量；将logkey序列向量拼接成logkey序列矩阵，作为模型的嵌入层权重；

步骤三，将日志解析出的logkey分别进行切片处理作为Bi-SSGRU-GA-Attention模型的输入；

步骤四，将log key最小子序列索引表示输入嵌入层，再输入Bi-SSGRU层，提取log key子序列层次特征；

步骤五，将每个子序列经过Bi-SSGRU提取到的特征输入到GA-Attention层，分配相应的logkey序列向量权重；

步骤六，经过多个网络层获取整个log key序列的特征表示，作为下一可能logkey概率表示；

步骤七，将logkey表按照输出的概率值从大到小排列，选取其中前b个组成集合；若系统当前时刻输出日志的logkey存在于集合中，则判断所述日志是正常的，否则即视为异常。

2.如权利要求1所述结合双向切片GRU与门控注意力机制日志异常检测方法，其特征在于，所述日志异常检测模型包括：

输入层、双向GRU层、GA-Attention层、第二GRU层、拼接层和softmax层；

输入层，用于用Word2Vec方法生成log key单词向量x_m；并利用x_ij表示logkeyX_i的第j个单词的词向量j∈[1,MaxKey]；logkeyX_i表示将所有的log key定义为X_i；j∈[1,MaxKey]表示每个log key的长度即为MaxKey；

双向GRU层，用于对经过Word2Vec方法生成的输入序列在两个方向分别进行处理；

GA-Attention层，用于为每个logkey中经过筛选的单词分配权重；

第二GRU层，用于对于GA-Attention层的输出序列在两个方向进行处理；

拼接层，用于将计算得到顶层输出与进行拼接；

softmax层，用于基于拼接结果计算得到一个n维向量，每一维度的值代表logkey表中的每个元素出现在当前位置的概率，并得到每个logkey出现的概率。

3.如权利要求2所述结合双向切片GRU与门控注意力机制日志异常检测方法，其特征在于，所述日志异常检测模型损失函数为：

Loss＝-∑logp_dj；

其中，d表示每条logkey，j表示标签；P为每个log key出现的概率。

4.如权利要求1所述结合双向切片GRU与门控注意力机制日志异常检测方法，其特征在于，步骤一中，所述利用Spell从日志数据中解析出logkey包括：

(1)初始化LCSObject、LCSseq、lineIds以及存放所有日志对象的列表LCSMap；

(2)流式读取日志，当读取到一个新的日志条目之后，遍历LCSMap，寻找该日志与所有LCSObject的最大公共子序列，如果子序列的长度大于日志序列长度的一半，则认为该日志与日志键匹配；如果找到匹配的日志对象，跳转步骤(4)；如果没有，或者LCSMap为空，则跳转步骤(3)；

(3)将该行日志初始化为一个新的LCSObject，放入列表LCSMap中；

(4)将该行日志更新到匹配的LCSObject的行数列表lineIds中，并且更新LCSseq；

(5)跳转至步骤(2)，直到日志读取完毕。