[发明专利]一种海量多源异构日志关联分析方法

说明书

技术领域

本发明属于网络安全技术领域，是一种海量多源异构日志关联分析方法。 

背景技术

随着信息技术的发展，各企事业单位、党政军各级机构为了其自身内部网络安全需要，安装部署了网络安全管理系统，用于集中管理内部网络设备和各业务系统产生的事件，监测整体网络的运营态势。 

网络安全管理系统的主要功能是收集内部网络产生的安全事件并进行分析。收集的事件包括如下内容：防火墙日志信息、入侵检测日志信息、病毒日志信息、漏洞扫描日志信息源、主机操作日志信息、业务系统的用户操作日志信息、入侵防御日志信息、VPN日志信息、数据库操作日志信息等。目前，设备类日志格式并无统一的规范，导致设备日志结构各异。 

内部网络设备和业务系统所产生的事件数量，随着安全管理系统的运营，会变得异常庞大，对这些日志的分析也变得困难。由于各类事件数量非常大，目前市面常用的分析方法主要基于统计的方法，但是该方法存在以下不足： 

设备之间存在功能交叉，针对同一行为会被不同设备分别上报，容易产生误报。 

统计功能相对单一，分析不深入。 

发明内容

本发明就是为了解决上述问题，提出一种海量多源异构日志关联分析方法，引入数据挖掘算法，对数据进行预处理，剔除重复事件，对事件进行聚合后再对事件进行深入分析。 

本发明结合各类事件的特点，对事件进行分类、聚合、不同设备间同类日志合并等处理后，基于数据挖掘算法进行分析，具体执行流程如图1所示。 

本发明方法的具体步骤如下： 

步骤1：对原始数据进行预处理，剔除错误日志，多源异构日志归一化，生成格式化的安全事件信息； 

步骤2：基于事件各个字段的内容，生成一个描述本事件的特征向量； 

步骤3：将不同设备所产生的事件分类存储； 

步骤4：不同设备的事件进行相似度计算并比较，判断是否属于同一类事件，通过基于相似度公式进行距离计算实现，若距离小于阈值，阈值大于0.9，即认为同类事件； 

对于不同设备上报同类事件，需要判断是否为一件事，如果是一件事需要剔除，剔除原则： 

|t₁-t₂|<window 

其中，其中t₁是事件1的发生时间，t₂是事件2发生的时间；window是时间阈值，可根据网络延时情况设定，建议小于1分钟； 

将不同的事件中的同类事件进行两两合并，并剔除重复事件； 

步骤5：按事件发生的顺序进行排序；针对同一个文件内的日志进行的，进行相似度计算；首先计算由于按照指定的时间窗口，指定的时间窗口小于1分钟，将在同一窗口的同类事件进行合并，以减少数量；同时生成各类事件的统计分析结果； 

步骤6：对事件应用关联分析算法，在支持度和置信度下分析事件的关联关系； 

步骤7：生成各类事件的统计分析报告及关联分析结果报告通过上述方法的分析使得日志分析结果更加丰富全面且易于理解，提升了网络安全管理的指导意义。 

附图说明

图1本发明流程图。 

图2日统计报表-按各类型统计 

图3日统计报表-按安全类型统计 

图4统计报表-按来源统计 

图5关联分析的举例 

具体实施方式

下面结合流程图，对实施方式详细说明，应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。 

步骤1：对原始数据进行预处理，剔除错误日志，多源异构日志归一化，生成格式化的安全事件信息。 

用于分析的日志包括防火墙日志信息、入侵检测日志信息、病毒日志信息、漏洞扫描日志信息源、主机操作日志信息、业务系统的用户操作日志信息、入侵防御日志信息、VPN 日志信息、数据库操作日志信息等，可根据实际情况加入其他设备日志信息。 

预处理过程大概分成如下步骤： 

（1）数据清洗，即剔除不合格日志。不合格日志分为两类，一类是安防系统不需要接收的日志，比如系统的运维日志，由于安防设备并不会区分各类日志，而是将其产生的日志一并发送给接收者，因此需剔除这类并不是系统安全事件的日志；另一类是格式不正常的日志，比如发送方或日志在发送过程中网络异常造成的某些数据丢失，解析后得到的数据不全，这类可丢弃。