[发明专利]一种基于Spark大数据平台的日志审计倒查系统

说明书

技术领域

本发明涉及大数据与信息安全领域，具体地说是一种基于Spark大数据平台的日志审计倒查系统。

背景技术

大数据技术近些年飞速发展，随着组织网络环境的日益复杂、信息安全的要求日益加剧。主要表现在: 1、网络环境的日志复杂，则日志审计系统的每秒需要的处理能力的要求日益增加；2、组织面临的攻击方法也日益多样化，规则库的更新是否及时成为衡量日志审计系统的重要标准；3、组织对信息安全的重视程度也日益增加，使用审计系统的使用者的专业技能日益深厚。因此，如何实现快速、直观、全面的溯源倒查成为本领域技术人员迫切解决的技术问题。

发明内容

本发明的技术任务是针对上述现有技术的不足，提供一种实用性强的基于Spark大数据平台的日志审计倒查系统。

本发明的技术任务是按以下方式实现的：一种基于Spark大数据平台的日志审计倒查系统，包括日志采集模块、日志审计分析模块、日志审计倒查模块、日志离线挖掘模块及视图模块：

所述日志采集模块用于采集各种设备的日志并实时传递给分析模块（SparkStreaming系统）；

所述日志审计分析模块用于对采集到的日志做范式化统一规格，并根据规则库实时分析得到告警信息；

所述日志审计倒查模块用于通过日志审计分析的结果（告警信息）倒查溯源，找到产生告警的源信息以及过程，包括攻击源地址以及攻击路径等；

所述日志离线挖掘模块用于对存储在HDFS（Hadoop分布式文件系统）的历史日志信息进行离线分析，并与规则库结合产生新的规则库中没有包含的规则条目，发现未知攻击，可通过Spark对数据挖掘和机器学习技术的支持实现；

所述视图模块通过Mysql数据库中信息的查询和展现，提供告警信息和日志信息的查询和分析。

上述系统通过日志采集模块采集组织系统中的日志信息并实时推送到日志审计分析模块，由日志审计分析模块实时分析产生告警信息并发送到视图模块的前端页面，并提实现查溯源和离线挖掘的功能。

作为优选，日志采集模块利用Flume（Cloudera提供的日志收集系统）实现日志采集及日志的实时传递，可以实现采集syslog日志、监控文件夹，并且可以很好的和SparkStreaming对接实现日志实时传递给分析模块。

日志审计分析模块接收到日志信息后，首先利用XML文件进行范式化，然后根据规则对日志实时分析得到告警信息，并传递给视图模块，同时将范式化后的日志信息存入HDFS中，将告警信息和日志信息存入Mysql。

所述规则库包括以下规则：

一、根据单条日志的部分内容，以内容作为告警信息：例如Windows系统日志中出现登录、开关机内容的内容都要作为告警信息，可使用MapReduce查找关键词；

二、根据单位时间内特殊事件出现的频率，以特殊事件为告警信息：例如Windows日志中的未知用户名或已知用户名密码错误事件在3分钟内发生了超过5次则可以视为一次暴力破解，可使用SparkStreaming中的时间窗的概念与MapReduce结合；

三、多设备日志间的关联分析，以分析结果为告警信息：例如IPS或者IDS检测到信息刺探在同一时间检测到攻击入侵可以视为一次单设备典型攻击，可在SparkStreaming流处理的过程中使用SparkSQL即席查询。

所述日志审计倒查模块通过存储在Mysql数据库中告警信息与日志信息的关系表实现告警的进行倒查分析，具体实现方法为：在日志审计分析模块产生告警信息的同时将与之有关的Log信息记录，在往Mysql数据库中写入日志和告警信息的同时将该关联规则记录。当需要对某一告警进行倒查分析的时候，可以通过记录的关联信息找到对应日志信息，通过对这些日志信息的分析即可以得到攻击源，攻击路径等信息。

与现有技术相比，本发明的基于Spark大数据平台的日志审计倒查系统具有以下突出的有益效果：

（一）  大数据平台的分布式架构易于扩展和缩减，可以应对组织网络规模的改变而改变自身系统的大小到达资源的有效利用；

（二）  倒查功能可以为组织中系统的使用人员提供详尽的告警信息分析，方便其工作；

（三）  利用大数据技术进行数据挖掘与机器学习可以有效的利用收集到的海量历史日志信息，通过与现有规则库结合的离线分析可以自动扩展规则库，增强系统规则的实用性。

附图说明