[发明专利]一种基于Spark大数据平台的日志审计倒查系统

权利要求书

1.一种基于Spark大数据平台的日志审计倒查系统，其特征在于包括日志采集模块、日志审计分析模块、日志审计倒查模块、日志离线挖掘模块及视图模块：

所述日志采集模块用于采集各种设备的日志并实时传递给分析模块；

所述日志审计分析模块用于对采集到的日志做范式化统一规格，并根据规则库实时分析得到告警信息；

所述日志审计倒查模块用于通过日志审计分析的结果倒查溯源，找到产生告警的源信息以及过程；

所述日志离线挖掘模块用于对存储在HDFS的历史日志信息进行离线分析，并与规则库结合产生新的规则库中没有包含的规则条目；

所述视图模块通过Mysql数据库中信息的查询和展现，提供告警信息和日志信息的查询和分析。

2.根据权利要求1所述的基于Spark大数据平台的日志审计倒查系统，其特征在于：日志采集模块利用Flume实现日志采集及日志的实时传递。

3.根据权利要求1所述基于Spark大数据平台的日志审计倒查系统，其特征在于：日志审计分析模块接收到日志信息后，首先利用XML文件进行范式化，然后根据规则对日志实时分析得到告警信息，并传递给视图模块，同时将范式化后的日志信息存入HDFS中，将告警信息和日志信息存入Mysql。

4.根据权利要求3所述基于Spark大数据平台的日志审计倒查系统，其特征在于：规则库的规则包括：

一、根据单条日志的部分内容，以内容作为告警信息；

二、根据单位时间内特殊事件出现的频率，以特殊事件为告警信息；

三、多设备日志间的关联分析，以分析结果为告警信息。

5.根据权利要求3所述基于Spark大数据平台的日志审计倒查系统，其特征在于，日志审计倒查模块通过存储在Mysql数据库中告警信息与日志信息的关系表实现告警的进行倒查分析。