[发明专利]基于深度日志序列分析的系统异常检测方法及系统

权利要求书

1.一种基于深度日志序列分析的系统异常检测方法，其特征在于，包括：

获取日志事件历史数据集，对日志事件进行解析，根据解析得到的标识符将所述日志事件数据集划分为若干日志序列；

利用所述日志序列作为输入，对Bi-LSTM-CRF模型进行训练；

利用训练好的Bi-LSTM-CRF模型对待检测的日志序列进行路径异常检测；

对解析后的日志事件进行特征提取，从具有同一标号的日志事件中提取全部参数构造参数向量，利用正态分布模型对所述参数向量进行拟合；

通过所述正态分布模型对待测日志序列中的日志事件进行参数异常检测；

根据所述路径异常检测以及参数异常检测结果确定异常发生的位置。

2.如权利要求1所述的一种基于深度日志序列分析的系统异常检测方法，其特征在于，所述对日志事件进行解析，利用日志解析器通过读取每行日志事件，从非结构化日志中自动学习事件模板，并将原始日志数据转换为结构化的时序序列；具体的解析过程通过正则表达式对每个日志行进行预处理，分析文本的结构化部分，利用文本挖掘技术提取剩余部分。

3.如权利要求1所述的一种基于深度日志序列分析的系统异常检测方法，其特征在于，所述标号是根据解析后的日志事件标识符，将具有同一标志符的日志事件进行唯一标号，利用滑动窗口将标号后的日志事件数据进行分组，得到若干组日志序列。

4.如权利要求1所述的一种基于深度日志序列分析的系统异常检测方法，其特征在于，所述路径异常检测过程中，通过训练好的Bi-LSTM-CRF模型，其输入为通过滑动窗口分组后的日志序列，其中Bi-LSTM模型的输入出为下一时刻发生某一日志事件的概率值，所述概率值作为CRF模型的输入，根据所述概率值判断所述日志事件是否异常。

5.如权利要求1所述的一种基于深度日志序列分析的系统异常检测方法，其特征在于，所述特征提取是利用日志解析后的日志事件，根据待检测的相关属性，对具有同一标号的日志事件提取对应参数构造为参数向量。

6.如权利要求5所述的一种基于深度日志序列分析的系统异常检测方法，其特征在于，在模型训练过程中利用正态分布模型对所述参数向量进行拟合，获得所述参数向量的拟合曲线，将待测试的日志序列中每个日志事件的对应参数输入训练好的正态分布模型，根据3σ准则判别相应参数是否异常。

7.如权利要求1所述的一种基于深度日志序列分析的系统异常检测方法，其特征在于，根据所述所述路径异常检测以及参数异常检测结果，利用日志路径流模型将异常发生的位置及原因直观的展示给用户。

8.一种基于深度日志序列分析的系统异常检测系统，其特征在于，包括：

数据预处理模块，用于获取日志事件历史数据集，对每个日志事件进行解析，根据解析得到的标识符将所述日志事件数据集划分为若干日志序列；以及对解析后的日志事件进行特征提取，从具有同一标识符的日志事件中提取全部参数构造参数向量；

模型训练模块，用于利用所述日志序列作为输入，对Bi-LSTM-CRF模型进行训练；以及利用正态分布模型对所述参数向量进行拟合；

路径异常检测模块，用于利用训练好的Bi-LSTM-CRF模型对待检测的日志序列进行路径异常检测；

参数异常检测模块，用于通过所述正态分布模型对待测日志序列中的日志事件进行参数异常检测；

故障诊断模块，用于根据所述路径异常检测以及参数异常检测结果确定异常发生的位置。

9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-7任一项所述的一种基于深度日志序列分析的系统异常检测方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-7任一项所述的一种基于深度日志序列分析的系统异常检测方法。