[发明专利]结合双向切片GRU与门控注意力机制日志异常检测方法

说明书

本发明属于日志异常检测技术领域，公开了一种结合双向切片GRU与门控注意力机制日志异常检测方法，包括：使用spell在线解析日志，通过提取日志的log key，将日志解析为结构化序列，引入双向切片与门控注意力机制构建日志异常检测模型，并将解析到得到的特征序列作为日志异常检测模型的输入进行日志异常检测模型训练，利用训练好的日志异常检测模型进行日志异常检测。本发明的日志异常检测算法，具有参数简单，收敛速度快的优点，在减少了运行时间的同时，取得了较高的准确率，在对于大型信息系统的日志分析中取得了较为理想的效果。

技术领域

本发明属于日志异常检测技术领域，尤其涉及一种结合双向切片GRU与门控注意力机制日志异常检测方法。

背景技术

目前：系统运行过程中会产生各种各样的日志，这些日志记录了系统运行时的状态和系统执行的各种操作，是在线监视和异常检测的良好信息来源。因此，将系统中存在的异常日志快速准确的检测出来，对维护系统的安全稳定意义重大。

系统日志异常检测一直是异常检测领域中的热门研究课题。系统日志由多种非固定格式的非结构化数据集组成，和统计学、自然语言处理、机器学习等众多学科都有着非常紧密的联系。近些年，各国研究人员应用了不同学科领域的各种方法来进行日志异常检测，并取得了大量杰出的研究成果。现有技术1 利用抽象语法树(Abstract Syntax Tree，AST)和主成分分析(principal Component Analysis，PCA)方法来处理经过解析后产生的日志特征集，通过降低特征集的复杂度，取得了较好的异常检测准确率。但是该方法依赖于静态源代码分析来从日志中提取结构，在日志异常检测中的通用性较差。现有技术2提出一种以日志聚类为核心思想的异常检测方法——LogCluster。它拥有快速处理大量日志数据的能力，同时也能取得较高的异常检测精度。但是LogCluster对日志进行分组时，使用会话窗口的方式，这使得LogCluster只能检测带标记符的日志，限制了该方法的通用性。

近些年，深度学习的发展势头迅猛，在各个相关领域都取得了较为显著的成果，尤其在自然语言处理领域进展巨大。涌现出了大量以NLP为基础的优秀模型。现有技术3将系统日志中提取出的信息视为自然语言序列，围绕自然语言序列的处理，提出了一种基于LSTM的深度学习神经网络模型——DeepLog。该模型从正常执行中自动学习日志模型，并通过该模型，对正常执行下的日志数据进行异常监测。当检测到的日志与既定规则产生冲突时，即认定其为异常。实验结果表明，该方法在多个大型日志数据集上取得了非常高的检测精度，总体性能优于其他基于传统数据挖掘的日志异常检测方法。但该方法检测效率较低，理论上仍有一定提升空间。

通过上述分析，现有技术存在的问题及缺陷为：现有的日志异常检测方法检测速度慢，准确率不高。

解决以上问题及缺陷的难度为：不同行业领域产生的系统日志在内容以及格式方面存在较大差异，且数据量巨大，无法采用某种单一方法进行日志异常检测。对于某些没有标记符的日志，现存的一些基于标记符的日志异常检测方法无法发挥作用，且采用人工对于日志进行标记工作量巨大，难以完成。目前基于深度学习的日志异常检测模型无需对日志进行人工标记，能够自动学习异常日志特征，并基于异常日志特征进行日志异常检测，取得了良好的检测精度。但由于庞大的日志数据量，造成性能的下降以及巨大的时间开销。如何在处理海量日志数据的同时减少时间开销，是一个非常困难的问题。

解决以上问题及缺陷的意义为：通过结合双向切片GRU与门控注意力机制，减少了日志异常检测模型的参数数量，在模型上可以双向并行处理经过切片后的日志数据，显著减少了时间开销，同时引入门控注意力机制，使得检测精度得到了进一步的提高。在对于大型信息系统的日志分析中取得了理想的效果，在检测精度以及总体性能开销方面，优于现存大部分日志异常检测方法。在大型信息系统的风险分析以及故障预测领域具有积极影响。

发明内容

针对现有技术存在的问题，本发明提供了一种结合双向切片GRU与门控注意力机制日志异常检测方法。