[发明专利]数据挖掘方法及系统

权利要求书

1.一种数据挖掘方法，其特征在于，包括以下步骤：

步骤一、从多个网络数据的来源获取原始数据包，并将不同来源的原始数据包放入分布式消息队列中的不同消息队列；

步骤二、从消息队列中提取原始数据包，对提取的数据进行预处理，以将数据格式转换为预设格式；

步骤三、根据数据类型创建不同的分布式处理任务，其中包括packet原始数据包任务，packet原始数据包任务为将原始数据包解析产生索引信息和描述信息；

步骤四、将原始数据包中的数据与解析得到的索引信息分别存储到HBASE和elasticSearch，以备数据还原用，将原始数据包中的数据及描述信息存储到NoSql；

步骤五、从NoSql中提取数据并进行数据挖掘；

所述步骤五中的数据挖掘还包括基于提取的数据进行的木马心跳识别、恶意域名识别、网络异常行为检测；

该数据挖掘方法还包括一步骤六，该步骤六为：

查看由木马心跳识别、恶意域名识别、网络异常行为检测而产生的报警，并根据报警的信息以及相应的索引信息还原数据包。

2.如权利要求1所述的数据挖掘方法，其特征在于，步骤二还包括：对提取的数据进行预处理后，从中找出需关联的数据并将其重新发回对应的消息队列中。

3.如权利要求1所述的数据挖掘方法，其特征在于，所述步骤五中的数据挖掘包括信息聚合，信息聚合包括，对提取的数据进行聚合并做关联，并统计数据的流量排行，将统计得到的结果存储到elasticSearch中。

4.如权利要求1所述的数据挖掘方法，其特征在于，该预设格式为JSON格式。

5.一种数据挖掘系统，其特征在于，包括：

分布式消息模块，用于从多个网络数据的来源获取原始数据包，并将不同来源的原始数据包放入分布式消息队列中的不同消息队列；

预处理模块，用于从消息队列中提取原始数据包，对提取的数据进行预处理，以将数据格式转换为预设格式；

分布式处理模块，用于根据数据类型创建不同的分布式处理任务，其中包括packet原始数据包任务，packet原始数据包任务为将原始数据包解析产生索引信息和描述信息；

存储模块，用于将原始数据包中的数据与解析得到的索引信息分别存储到HBASE和elasticSearch，以备数据还原用，将原始数据包中的数据及描述信息存储到NoSql；

数据挖掘模块，用于从NoSql中提取数据并进行数据挖掘；

数据挖掘模块还包括分别用于基于提取的数据进行木马心跳识别、恶意域名识别、网络异常行为检测的数据分析单元；

该数据挖掘系统还包括数据包还原模块，用于查看由木马心跳识别、恶意域名识别、网络异常行为检测而产生的报警，并根据报警的信息以及相应的索引信息还原数据包。

6.如权利要求5所述的数据挖掘系统，其特征在于，预处理模块在对提取的数据进行预处理后，还用于从中找出需关联的数据并将其重新发回对应的消息队列中。

7.如权利要求5所述的数据挖掘系统，其特征在于，数据挖掘模块包括信息聚合单元，用于对提取的数据进行聚合并做关联，并统计数据的流量排行，将统计得到的结果存储到elasticSearch中。