[发明专利]一种基于LDA主题特征的日志异常检测方法

说明书

本发明是一种基于LDA主题特征的日志异常检测方法。该方法包含模型训练和异常检测两个阶段。在模型训练阶段，利用日志解析器将系统日志解析为日志模板集合和日志三元组集合，日志模板集合用以训练LDA模型，得到日志模板主题分类模型；利用LDA‑CM模型将日志三元组转换为进程日志模板主题，进而利用滑动窗口机制构造训练样本，最后将训练样本输入LSTM模型，训练生成日志异常检测模型。在异常检测阶段，将待检测的进程日志转换为对应的模板主题序列，然后输入LSTM‑ADM模型，实现针对进程日志的异常检测，本发明能够更加准确的学习日志间的语义关系特征以及更有效地通过非结构化的日志记录检测出进程或系统的异常行为。

技术领域

本发明属于安全技术领域，具体的说是涉及一种基于LDA主题特征的日志异常检测方法。

背景技术

在系统安全领域，通过日志来检测软件或系统异常是一种常用的安全防护手段。从简单小型的软件系统到大型复杂的软件系统，以及分布式文件系统和高性能的云计算管理平台，都不可避免的存在漏洞，这就可能导致系统本身运行的异常。此外，攻击者也可能利用软件和系统的漏洞发起危险性攻击来入侵破坏系统。因此，及时、准确的检测出这些异常对于构建安全可信的系统来说至关重要。但是现有异常检测方法无法准确的学习正常和异常日志之间的语义差异特征，导致异常检测方法的泛化能力较差，在实际的应用中并没有取得很好的效果。

日志几乎是所有计算机系统中异常检测方法常见且主要的数据源，它记录了一系列描述软件和系统运行状态的重要事件。现有分析系统日志以实现异常检测方法可以被概括为四个种类：基于主要组件分析(PCA)的日志数据计数检测方法，基于变量挖掘(IM)捕捉日志复现模式的检测方法，基于工作流的检测方法以及基于深度学习的方法。前三种类型的方法在特定应用场景下能够取得很好的效果，但并不能用以检测不同的攻击。最后一类深度学习的方法使用日志模板进行分类以学习日志序列内的行为模式。目前基于深度学习的方法无法准确学习日志间的语义关系特征，并且对于新日志模板的注入，方法稳定性会受到较大的影响，方法实现模型可能会失效；此外，方法查准率、查全率、调和分数等相关性能还需进一步提高，以适应复杂多变的软件和系统。

发明内容

为了能够更加准确的学习日志间的语义关系特征以及更有效地通过非结构化的日志记录检测出进程或系统的异常行为，本发明提出了一种基于LDA主题特征的日志异常检测方法。

为了达到上述目的，本发明是通过以下技术方案实现的：

本发明是一种基于LDA主题特征的日志异常检测方法主要包含两个阶段：一是模型训练阶段，通过提取日志数据的模板主题特征，构建训练样本，进而训练生成异常检测模型；二是异常检测阶段，利用异常检测模型实现针对进程日志的检测。

模型训练阶段：

(1)获取系统日志数据L＝{log₁,log₂,…,log_n}，对应进程集合设为P＝{p₁,p₂,…,p_f}，L由P中进程产生；使用日志解析器解析对L中的日志进行处理，生成日志模板集合K＝{k₁,k₂,…,k_m}和日志三元组集合D＝{d₁,d₂,…,d_n}，其中d_i为log_i对应的日志三元组(k,pid,ts)，k为日志模板，pid为进程标识符，ts为日志产生的时间戳。

(2)对日志模板K进行预处理，将预处理数据输入预设主题集合为T＝{t₁,t₂,…,t_r}的LDA模型，训练生成基于LDA的日志模板主题分类模型LDA-CM。