[发明专利]基于深度日志序列分析的系统异常检测方法及系统

说明书

本公开提供了一种基于深度日志序列分析的系统异常检测方法及系统，通过将序列标注模型Bi‑LSTM‑CRF应用到日志路径异常检测中，将正态分布应用到日志参数异常检测中，这使得BiLCN能够自动的学习正常的日志模式，包括日志执行路径以及日志事件的参数，并能准确的将偏离正常模型的日志事件检测出来标记为异常；同时，所述系统还包括日志解析器、特征提取器以及日志路径流模型，通过检测的日志序列构造成日志路径流模型，将异常情况反馈给用户，以便用户及时进行系统诊断，经实验验证，本方法具有较高的准确度和执行效率。

技术领域

本公开属于大规模系统日志异常检测技术领域，尤其涉及一种基于深度日志序列分析的系统异常检测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

系统异常检测是检测系统故障、调试机器性能以及维护系统安全等必不可少的重要任务；随着系统运行中遇到的漏洞以及非法入侵等恶意行为变得多样化，产生的日志数据的种类也越来越多；因此，异常检测也面临着越来越多的挑战。系统日志文件可以从所有的计算机系统中提取，记录了不同时刻系统的运行状态和发生的事件，是故障分析、性能检测、以及进行系统异常检测的重要数据。

由于系统差异等原因导致日志多样化，因此在对系统进行异常检测时具有很大的挑战；为了克服这一问题，许多研究者根据不同的系统设计了不同的日志挖掘工具，并使用日志挖掘的方法对系统进行异常检测；虽然基于日志挖掘的方法在对系统异常检测时具有一定的准确性，但是这些方法仅限于特定的场景，而且在进行日志挖掘的过程中还需要掌握大量的专业知识。因此，基于传统的数据挖掘方法在异常检测中不能发挥更好的效果。

发明人发现，现有技术中，对系统日志进行异常检测的方法主要使用两个数据处理：日志解析和特征提取，原始的日志事件通过日志解析器转化为时序化的日志序列，特征提取每一类日志事件中的参数并构建为一个参数向量，运用自然语言处理的知识，通过将注意力机制纳入到RNN语言模型中来对系统进行异常检测，虽然该方法对系统异常检测有一定的效果，但是无法有效的解决不同系统间的异常检测问题。

发明内容

本公开为了解决上述问题，提供一种基于深度日志序列分析的系统异常检测方法及系统，根据不同系统之间的日志信息，通过日志解析器、特征提取器进行日志数据的转换和处理，将日志信息转化为日志序列；然后将日志序列输入到有双向长短时记忆网络以及条件随机场组成的模型中进行训练和检测；并将日志信息中的参数输入到高斯分布模型进行训练，来获取合适的阈值；最后将检测完成的日志序列构建为日志路径流模型，以便于及时将异常情况反馈给用。

根据本公开实施例的第一个方面，提供了一种基于深度日志序列分析的系统异常检测方法，包括：

获取日志事件历史数据集，对日志事件进行解析，根据解析得到的标识符将所述日志事件数据集划分为若干日志序列；

利用所述日志序列作为输入，对Bi-LSTM-CRF模型进行训练；

利用训练好的Bi-LSTM-CRF模型对待检测的日志序列进行路径异常检测；

对解析后的日志事件进行特征提取，从具有同一标识符的日志事件中提取全部参数构造参数向量，利用正态分布模型对所述参数向量进行拟合；

通过所述正态分布模型对待测日志序列中的日志事件进行参数异常检测；

根据所述路径异常检测以及参数异常检测结果确定异常发生的位置。

根据本公开实施例的第二个方面，提供了一种基于深度日志序列分析的系统异常检测系统，包括：