[发明专利]一种网络安全日志的快速关联分类及分级存储方法

说明书

本发明公开了一种网络安全日志的快速关联分类及分级存储方法，包括如下步骤：根据应用元数据的不同定义XML格式日志模板，日志模板包括告警日志信息，关联流日志信息，应用元数据日志信息，报文日志信息，文件附件日志信息；通过日志中的流、事务信息将告警日志、关联流日志、应用元数据日志、报文日志和文件附件日志关联在一起，每条告警日志输出一条完整的日志；对日志进行分级存储机制输出，包括告警日志信息，关联流日志信息，应用元数据日志信息，报文日志信息，文件附件日志信息中的值；分级存储机制采用两级，第一级采用内存文件系统，第二级采用带RAID SSD/HD存储系统。本发明技术方案解决Json日志格式输出的性能问题。

技术领域

本发明涉及数据通信技术领域，特别涉及一种网络安全日志的快速关联分类及分级存储方法。

背景技术

在网络安全领域，网络安全设备如IPS/IDS设备在对现网接入流量分析时，可以根据设备所下发的安全检测规则，对流量进行深度分析，发现存在的攻击行为、登陆异常、入侵行为等行为，然后通过设备自身的日志系统记录下这些行为的相关告警信息、流信息、应用信息、报文信息、附件等信息，供后面日志审计系统查询或者取证。

在IPS/IDS设备中其中日志输出方式有很多种，如输出到Syslog、输出到Redis、以及输出到日志文件，其中比较常见的是输出日志文件。日志文件包括很多种日志：告警日志，报文日志，关联流日志，应用元数据日志等，这些日志通过Json格式输出到不同的日志文件中。设备中每条日志都会在日志文件中输出一条信息(告警、关联流、应用元数据日志)，或者产生一个日志文件(报文和文件附件日志)。

Json格式日志文件有比较好的可读性，但是在高速网络安全设备中输出Json格式日志有其固有的缺点：

如果输出日志条目数比较多(告警、关联流、应用元数据日志)，输出性能就不高，不停的文件IO操作影响输出性能；

如果输出日志文件数比较多(报文和文件附件日志)，输出同样受存储器件IO操作性能影响；

这些日志信息本来可以相互关联的，现在直接输出然后交给后端日志审计系统去关联，可能会降低后端系统性能；

因此，现有技术存在缺陷，需要改进。

发明内容

本发明的主要目的是提出一种网络安全日志的快速关联分类及分级存储方法，旨在解决Json日志格式输出的性能问题。

为实现上述目的，本发明提出的一种网络安全日志的快速关联分类及分级存储方法，包括如下步骤：

S1：根据应用元数据的不同定义XML格式日志模板，日志模板包括告警日志信息，关联流日志信息，应用元数据日志信息，报文日志信息，文件附件日志信息；

S2：通过日志中的流、事务信息将告警日志、关联流日志、应用元数据日志、报文日志和文件附件日志关联在一起，每条告警日志输出一条完整的日志；

S3：对日志进行分级存储机制输出，包括告警日志信息，关联流日志信息，应用元数据日志信息，报文日志信息，文件附件日志信息中的值；分级存储机制采用两级，第一级采用内存文件系统，第二级采用带RAID SSD/HD存储系统。

优选地，步骤S1中，定义日志模板具体为定义输出日志中的关键词。

优选地，步骤S2中，具体关联流程包括：

接收各类日志消息，根据日志中的流信息查找关联表；

若查找到关联节点，则根据流信息创建新的关联节点；

若没有查找到关联节点，则将当前日志节点添加到查到到的关联节点列表里。

优选地，步骤S3中，具体输出过程包括：