[发明专利]一种基于大数据的网络安全分析系统及其分析方法

权利要求书

1.一种基于大数据的网络安全分析系统，其特征在于，包括：

MapReduce化单元，用于将原始数据源进行MapReduce化，输出待预处理的orcfile；

预处理单元，用于根据第三方数据接口的数据指令，将待预处理的orcfile按需进行预处理并对建模单元输出待处理数据的orcfile；

建模单元，根据待处理数据的orcfile和挖掘模式，建立对应的实时计算型模型；

挖掘单元，用于在大数据平台进行数据挖掘并将挖掘结果输出至木马分析单元和/或异常分析单元；

木马分析单元，用于利用挖掘结果对木马进行分析，并根据实时分析需要的局部数据反馈至算法重制单元；

异常分析单元，用于利用挖掘结果对网络异常进行分析，并根据实时分析需要的局部数据反馈至算法重制单元；

算法重制单元，用于对反馈的所需数据重新制作挖掘算法。

2.根据权利要求1所述的系统，其特征在于，所述的预处理单元包括：

二次特征提取模块，用于对待预处理的orcfile进行二次特征提取；

信息补全替换模块，用于根据第三方数据接口输入的指令对待预处理的orcfile进行信息补全或信息替换；

数据标准化模块，用于对来自不同数据源的类似属性统一量程；

数据离散化模块，用于对指定数据列的数据进行分层。

3.根据权利要求1所述的系统，其特征在于，所述的建模单元将实时计算型模型的数据/配置持久化保存于RDBMS中。

4.一种基于大数据的网络安全分析方法，其特征在于，包括如下步骤：

a、用Hive driver/Hbase driver/Sequencefile io api在mapper中加载输入路径；

b、利用有效性条件对数据逐条判定，输出KEY为时间戳，VALUE为目标数据列的集合；

c、在reducer中将符合要求的数据按照orcfile的outputformat进行输出；

d、通过数据挖掘场景的预定义申明配置文件的预处理选项；

e、建立实时计算型模型；

f、通过多次迭代完成挖掘步骤；

g、根据输出的挖掘结构在单机上进行木马分析和/或异常分析；

h、根据木马分析和/或异常分析的实时局部数据需要，重复步骤a直至完成分析。

5.根据权利要求1所述的方法，其特征在于，所述步骤d的预处理选项包括二次特征提取、信息补全替换、数据标准化和数据离散化。

6.根据权利要求1所述的方法，其特征在于，所述的步骤e将实时计算型模型的数据/配置持久化保存于RDBMS。