[发明专利]一种基于大数据的网络安全分析系统及其分析方法

说明书

技术领域

本发明涉及一种网络安全分析系统及其分析方法，尤其涉及一种基于大数据的网络完全分析系统及其分析方法。

背景技术

随着网络的发展，木马攻击越来越厉害，攻击种类和手段也越来越复杂。单机处理木马的能力已经跟不上木马的发展速度了，主要受限于存储空间小、数据量少，对特征检测和异常模型建立都遇到硬件瓶颈。当用户了解到木马特征之后，之前的数据已经全部丢失，无法基于此木马特征检测是否有其他用户被攻击，或者被攻击后损失的大小。其次，对于异常模型建立，由于小数据量问题，必须先准备数据，后建立模型。在建立模型后，如果要修改模型，则需要继续采集数据，重新建立模型，对于单机系统来说数据量和存储空间远远不足。

大数据时代，随着各种大数据的系统发展，已经可以通过其庞大的数据群解决以前的单机小数据缺陷。但是单机与大数据的联系应用依然不发达，将网络大数据应用到网络安全分析仍然具有很大技术瓶颈，阻碍网络安全的检测效率和仍需较大依赖单机硬件性能。

发明内容

为了解决上述技术问题，本发明目的在于提供一种基于大数据的网络安全分析系统及其分析方法。

本发明所述的一种基于大数据的网络安全分析系统，其特征在于，包括：

MapReduce化单元，用于将原始数据源进行MapReduce化，输出待预处理的orcfile；

预处理单元，用于根据第三方数据接口的数据指令，将待预处理的orcfile按需进行预处理并对建模单元输出待处理数据的orcfile；

建模单元，根据待处理数据的orcfile和挖掘模式，建立对应的实时计算型模型；

挖掘单元，用于在大数据平台进行数据挖掘并将挖掘结果输出至木马分析单元和/或异常分析单元；

木马分析单元，用于利用挖掘结果对木马进行分析，并根据实时分析需要的局部数据反馈至算法重制单元；

异常分析单元，用于利用挖掘结果对网络异常进行分析，并根据实时分析需要的局部数据反馈至算法重制单元；

算法重制单元，用于对反馈的所需数据重新制作挖掘算法。

所述的预处理单元包括：

二次特征提取模块，用于对待预处理的orcfile进行二次特征提取；

信息补全替换模块，用于根据第三方数据接口输入的指令对待预处理的orcfile进行信息补全或信息替换；

数据标准化模块，用于对来自不同数据源的类似属性统一量程；

数据离散化模块，用于对指定数据列的数据进行分层。

所述的建模单元将实时计算型模型的数据/配置持久化保存于RDBMS（关系数据库管理系统Relational Database Management System）中。

本发明所述的一种基于大数据的网络安全分析方法，其特征在于，包括如下步骤：

a、用Hive driver/Hbase driver/Sequencefile io api在mapper中加载输入路径；

b、利用有效性条件对数据逐条判定，输出KEY为时间戳，VALUE为目标数据列的集合；

c、在reducer中将符合要求的数据按照orcfile的outputformat进行输出；

d、通过数据挖掘场景的预定义申明配置文件的预处理选项；

e、建立实时计算型模型；

f、通过多次迭代完成挖掘步骤；

g、根据输出的挖掘结构在单机上进行木马分析和/或异常分析；

h、根据木马分析和/或异常分析的实时局部数据需要，重复步骤a直至完成分析。

所述步骤d的预处理选项包括二次特征提取、信息补全替换、数据标准化和数据离散化。

所述的步骤e将实时计算型模型的数据/配置持久化保存于RDBMS。

本发明所述的一种基于大数据的网络安全分析系统及其分析方法，其优点在于，基于大数据的网络安全分可以保存历史数据，当发现木马特征、攻击端及被攻击端的IP等数据后，能够快速关联：发现在哪个时间段、哪些用户被攻击，以及有哪些数据已经外泄。其次，在大数据环境下，数据已经大量保存。如果发现模型不能满足用户需求，只需要针对个别数据利用算法重制局部获取新数据重新建立模型。该方法省去了数据准备过程，大大缩短模型建立时间，提高异常模型检测效率，也大大减少了对单机硬件的依赖性。

附图说明

图1是本发明基于大数据的网络安全分析系统的结构示意图。