[发明专利]基于层次聚类的日志审计方法

摘要

本发明公开了一种基于层次聚类的日志审计方法。系统读入日志信息；根据所读入的日志信息，分析出其中关键字；根据所得的关键字将日志信息进行词向量转化；系统对所得的词向量进行聚类分析，并展示分析所得的小块异常信息。本发明避免了人工审计日志的繁重，并能够实现自动对异常日志信息的过滤，增强了用户体验效果。

主权项

1.一种基于层次聚类的日志审计方法的工作方法，其特征在于包括以下步骤:步骤1：查找每条日志的关键字；步骤2：根据关键字构造词袋，构造集合包含所有关键字；步骤3：构造词向量空间，将每条日志用向量方法表示；针对半结构化的日志数据进行向量表示，半结构化日志存在固定属性项与可变描述项，日志向量的构造步骤如下：(1)选取关键字；(2)选取一定数量日志的可变描述项的集合V；(3)采用tf‑idf方法选取V的n个关键字的有序集合D，tf‑idf为一种关键字选取方法；(4)构造日志向量：(5)选取一条日志的可变描述项，构建可变项的向量；T＝<t₁,t₂,…,t_n>，对可变描述项进行分词，得到分词结果；W＝<w₁,w₂,…,w_m>，建立若w_i＝D_j,则记t_j为1，否则t_j为0；(6)提取当前日志的固定属性项<s₁,s₂,…,s_m>，将其与可变项向量结合得到日志的向量表示如下：L＝<s₁,s₂,…,s_m,t₁,t₂,…,t_n>；步骤4：采用最近邻链方法对日志进行聚类；(1)初始化簇：将每个簇划分为一点；(2)构建栈S，初始为空，用于存放当前激活点；(3)当集合中多余指定数目则循环执行以下步骤：(4)若S为空，随机选择一个激活点，加入S；(5)取S栈顶元素C；计算C与其它簇的距离，得到元素D为C的最近簇；(6)若D已经在S中，D必然是C在栈中的上一个元素，将CD出栈合并；否则将D加入S；步骤5：去除元素最多的类。