[发明专利]一种基于在线层次聚类的日志模板抽取方法

说明书

本发明涉及一种基于在线层次聚类的日志模板抽取方法，其中，包括：进行日志预处理；对预处理后的日志进行日志在线向量化，利用分布式的词向量表示方法对日志进行在线向量化，在线层次聚类算法对原始日志聚类，生成日志模板；日志在线层次聚类包括：在聚类树中，不同类别的原始数据点是树的最低层，树的顶层是一个聚类的根节点，根节点聚类覆盖了全部的所有数据点，每个叶子节点即对应一条日志向量，任意一个内部节点对应一个类簇，类簇中的元素是以内部节点为祖先节点的所有叶子节点。本发明基于在线层次聚类的日志模板抽取方法不仅适合多源异构日志模板抽取，而且准确度更高，且单步执行时间完全能够满足在线日志分析的需要。

技术领域

本发明涉及网络安全技术领域，特别涉及一种基于在线层次聚类的日志模板抽取方法。

背景技术

网络环境日益复杂，针对网络应用和系统的攻击不断涌现，且往往是多种攻击手段的组合运用。一旦攻击得手或者网络应用自身出现异常，将给应用的所有者及用户带来不可估量的损失。攻击和错误发现得越早，造成的损失就会越少。因此网络异常检测受到了学术界的广泛重视。

网络、系统和应用程序在运行过程中都会产生各类日志，用于记录网络、系统和应用的状态以及重要事件，因此日志包含极为丰富的网络运行动态信息，可以用于异常检测。由于基于日志的异常检测方法具有攻击问题分析准确、攻击链可重构性等特点，因此日益成为检测网络或系统异常行为的主流方法。但另一方面，日志具有的大数据量、异构性等特点，给分析造成很大的挑战。

日志模板抽取是基于日志的异常检测的重要前提，因此受到学术界的高度重视。AMakanju等人提出的IPLoM日志模板抽取方法是基于日志格式信息对原始日志进行三步分层划分，然后对每个划分提取模板，该方法较之前研究大大提高了日志模板提取的准确率，然而该方法依赖日志格式，并且是离线的，不能满足对日志分析实时性的要求。针对这一问题，最近Du M等人和He P等人分别提出了两种不同的模板在线提取方法。其中，Du M等人提出的Spell方法是基于最长公共子序列匹配的思想在线提取日志模板，解决了日志模板的在线提取问题；He P等人提出的Drain方法是把日志转化为按一定规则构建的固定长度的分析树，进而得到日志模板，进一步提高了在线日志模板提取的准确率和运行时间。然而现有的在线日志模板提取方法并没有分析其对多源日志的适用性，而这一需求在实际应用中是经常存在的。

发明内容

本发明的目的在于提供一种基于在线层次聚类的日志模板抽取方法，用于解决上述现有技术的问题。

本发明一种基于在线层次聚类的日志模板抽取方法，其中，包括：进行日志预处理；对预处理后的日志进行日志在线向量化，利用分布式的词向量表示方法对日志进行在线向量化，在线层次聚类算法对原始日志聚类，生成日志模板；日志在线层次聚类包括：在聚类树中，不同类别的原始数据点是树的最低层，树的顶层是一个聚类的根节点，根节点聚类覆盖了全部的所有数据点，每个叶子节点即对应一条日志向量，任意一个内部节点对应一个类簇，类簇中的元素是以内部节点为祖先节点的所有叶子节点；日志在线层次聚类算法包括：第1步：插入新日志向量，遍历当前聚类树，比较新插入日志向量节点l’与所有已插入的所有日志向量的叶子节点的距离，找到距离最近的日志向量l；有节点被遮蔽后对树的调整，直接插入日志向量节点l’，使得日志向量节点l和日志向量节点l’有共同的父节点；对于直接插入节点对树的调整，调整树的结构，使得日志向量节点l和日志向量节点l’有共同的父节点；第2步：判断是否有节点被遮蔽，判断依据为公式(5)：

其中，v′为v的兄弟节点，lvs(v′)表示内部节点v′包含的所有日志向量的集合，a为v父节点的兄弟节点，x∈lvs(v)；第3步：对聚类树中不平衡的树进行基于平衡二叉树的旋转；进行日志在线模板抽取。