[发明专利]一种基于海量数据的网络行为识别方法及装置

权利要求书

1.一种基于海量数据的网络行为识别方法，其步骤为：

1)从全文数据库系统中提取原始数据，并从提取的原始数据中提取公共字段和用户代理User-Agent内容；

2)根据所述User-Agent内容中的应用信息在预先设定的规则数据库中查询对应的提取规则，然后根据所述提取规则从所述原始数据中提取位置信息；

3)将每一原始数据的所述位置信息与所述公共字段作为一有效数据进行存储；

4)统计步骤3)存储的有效数据，如果同一记录i对应的有效数据不唯一，则判断该记录i对应的有效数据中的位置信息在tableL表中存在的个数C，其中，tableL表为存储目标网络行为位置信息的数据表；若C超过设定阈值，则判断具有目标网络行为。

2.如权利要求1所述的方法，其特征在于，根据所述User-Agent内容中的应用信息计算出提取规则编号；然后在预先设定的规则数据库中提取该提取规则编号对应的提取规则。

3.如权利要求2所述的方法，其特征在于，原始数据中的每一记录对应一提取规则，记录与提取规则之间通过编号对应。

4.如权利要求1或2或3所述的方法，其特征在于，当所述预先设定的规则数据库中不包含与所述应用信息对应的提取规则时，使用公知通用规则从所述原始数据中提取位置信息。

5.如权利要求1或2或3所述的方法，其特征在于，将所述位置信息与所述公共字段以数组的形式合并为一对多有效数据；所述公共字段包括：数据ID、设备ID、目的端口和时间戳。

6.一种基于海量数据的网络行为识别装置，其特征在于，包括原始数据提取模块，用于从全文数据库系统中提取原始数据；应用信息获取模块，用于从提取的原始数据中提取公共字段和用户代理User-Agent内容，并从所述User-Agent内容获取应用信息；位置信息提取模块，用于根据所述应用信息在预先设定的规则数据库中提取与所述应用信息对应的提取规则，并根据所述提取规则从所述原始数据中提取位置信息；有效数据合并模块，用于将所述位置信息与所述公共字段合并为有效数据；网络行为识别模块，用于统计存储的有效数据，如果同一记录i对应的有效数据不唯一，则判断该记录i对应的有效数据中的位置信息在tableL表中存在的个数C，其中，tableL表为存储目标网络行为位置信息的数据表；若C超过设定阈值，则判断具有目标网络行为。

7.如权利要求6所述的装置，其特征在于，所述应用信息获取模块根据所述User-Agent内容中的应用信息计算出提取规则编号；然后在预先设定的规则数据库中提取该提取规则编号对应的提取规则。

8.如权利要求6或7所述的装置，其特征在于，原始数据中的每一记录对应一提取规则，记录与提取规则之间通过编号对应。

9.如权利要求6或7所述的装置，其特征在于，当所述预先设定的规则数据库中不包含与所述应用信息对应的提取规则时，所述位置信息提取模块使用公知通用规则从所述原始数据中提取位置信息。

10.如权利要求6或7所述的装置，其特征在于，所述有效数据合并模块将所述位置信息与所述公共字段以数组的形式合并为一对多有效数据；所述公共字段包括：数据ID、设备ID、目的端口和时间戳。