[发明专利]一种基于LDA主题特征的日志异常检测方法

权利要求书

1.一种基于LDA主题特征的日志异常检测方法，其特征在于：所述日志异常检测方法包括如下步骤：

步骤1、模型训练：在所述模型训练阶段，首先利用日志解析器将系统日志解析为日志模板集合和日志三元组集合，日志模板集合用以训练LDA模型，得到日志模板主题分类模型LDA-CM；然后，利用LDA-CM模型将日志三元组转换为进程日志模板主题，进而利用滑动窗口机制构造训练样本，最后将训练样本输入LSTM模型，训练生成日志异常检测模型LSTM-ADM；

步骤2、异常检测：在所述异常检测阶段，首先将待检测的进程日志转换为对应的模板主题序列，然后输入步骤1中的LSTM-ADM模型，实现针对进程日志的异常检测。

2.根据权利要求1所述一种基于LDA主题特征的日志异常检测方法，其特征在于：所述步骤1模型训练具体包括如下步骤：

步骤1-1：获取系统日志数据L＝{log₁,log₂,…,log_n}，对应进程集合设为P＝{p₁,p₂,…,p_f}，L由P中进程产生，使用日志解析器解析对L中的日志进行处理，生成日志模板集合K＝{k₁,k₂,…,k_m}以及与L对应的日志三元组集合D＝{d₁,d₂,…,d_n}，其中d_i为log_i对应的日志三元组(k,pid,ts)，k为日志模板，pid为进程标识符，ts为日志产生的时间戳；

步骤1-2：对日志模板集合K进行预处理，将预处理数据输入预设主题集合为T＝{t₁,t₂,…,t_r}的LDA模型，训练生成基于LDA的日志模板主题分类模型LDA-CM；

步骤1-3：初始化日志模板主题映射字典TD，使用步骤1-2.生成的LDA-CM模型计算日志模板集合K中每一个日志模板k_i的主题概率分布向量Θ_i，Θ_i的维度等于T中主题的数量，Θ_i[j]表示k_i属于主题t_j的概率，然后，获取Θ_i中的最大概率值对应的主题t_x，将映射{k_i→t_x}添加到TD中；

步骤1-4：根据应进程集合P中的进程，对日志三元组集合D进行处理，并利用日志模板主题映射字典TD建立应进程集合P中各进程对应的日志模板主题序列，构成的序列集合记为S＝{S₁,S₂,…,S_f}；

步骤1-5：利用滑动窗口机制，对步骤1-4构成的序列集合S中的每个进程p_i的日志模板主题序列S_i进行处理，生成训练样本集合TP；

步骤1-6：利用步骤1-5中生成的训练样本集合TP中的训练样本训练LSTM模型，生成基于LSTM的进程日志异常检测模型LSTM-ADM。