[发明专利]一种海量多源异构日志关联分析方法

权利要求书

1.一种海量多源异构日志关联分析方法，其特征在于，包括如下步骤：

步骤1：对原始数据进行预处理，剔除错误日志，多源异构日志归一化，生成格式化的安全事件信息；

步骤2：基于事件各个字段的内容，生成一个描述本事件的特征向量；

步骤3：将不同设备所产生的事件分类存储；

步骤4：不同设备的事件进行相似度计算并比较，判断是否属于同一类事件，通过基于相似度公式进行距离计算实现，若距离小于阈值，阈值大于0.9，即认为同类事件；

对于不同设备上报同类事件，需要判断是否为一件事，如果是一件事需要剔除，剔除原则：

|t₁-t₂|<window

其中，其中t₁是事件1的发生时间，t₂是事件2发生的时间；window是时间阈值，可根据网络延时情况设定，建议小于1分钟；

将不同的事件中的同类事件进行两两合并，并剔除重复事件；

步骤5：按事件发生的顺序进行排序；针对同一个文件内的日志进行的，进行相似度计算；首先计算由于按照指定的时间窗口，指定的时间窗口小于1分钟，将在同一窗口的同类事件进行合并，以减少数量；同时生成各类事件的统计分析结果；

步骤6：对事件应用关联分析算法，在支持度和置信度下分析事件的关联关系；

步骤7：生成各类事件的统计分析报告及关联分析结果报告。