[发明专利]流式数据的特征提取方法及装置、存储介质、计算机设备有效
| 申请号: | 202110999767.X | 申请日: | 2021-08-30 |
| 公开(公告)号: | CN113452581B | 公开(公告)日: | 2021-12-14 |
| 发明(设计)人: | 辜乘风;徐明;魏国富;殷钱安;周晓勇;陶景龙;余贤喆;梁淑云;刘胜;王启凡;马影 | 申请(专利权)人: | 上海观安信息技术股份有限公司 |
| 主分类号: | H04L12/26 | 分类号: | H04L12/26;G06N20/00;G06K9/62;G06F16/2455;G06F16/22 |
| 代理公司: | 北京中强智尚知识产权代理有限公司 11448 | 代理人: | 黄耀威 |
| 地址: | 200000 上海市浦东新*** | 国省代码: | 上海;31 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据 特征 提取 方法 装置 存储 介质 计算机 设备 | ||
1.一种流式数据的特征提取方法,其特征在于,包括:
接收流式数据,并获取所述流式数据对应的网络安全特征提取需求,其中,所述网络安全特征提取需求包括至少一个待提取的目标维度以及至少一个待提取的目标特征,所述目标维度包括IP维度、时间维度以及mac局域网地址维度中的至少一种,所述目标特征包括DNS请求数量特征、ICMP请求数量特征、HTTP请求数量特征、DNS域名集合特征以及页面访问次数特征中的至少一种;
依据所述目标维度以及所述目标特征,生成特征数据提取器;
利用所述特征数据提取器,提取所述流式数据中与所述目标维度以及所述目标特征对应的网络安全特征数据;
所述依据所述目标维度以及所述目标特征,生成特征数据提取器,具体包括:
分别依据每个目标特征,建立与所述每个目标特征各自匹配的特征数据提取工具;依据所述目标维度、所述目标特征以及所述特征数据提取工具,生成所述特征数据提取器,其中,所述特征数据提取器包括提取器头部以及提取器主体,所述提取器头部用于指示所述目标维度以及所述目标特征,所述提取器主体包括所述特征数据提取工具。
2.根据权利要求1所述的方法,其特征在于,所述网络安全特征提取需求包括请求DNS域名去重数量,所述请求DNS域名去重数量包括所述IP维度以及所述DNS域名集合特征。
3.根据权利要求1所述的方法,其特征在于,所述获取所述流式数据对应的网络安全特征提取需求之前,所述方法还包括:
依据预设数据筛选条件,对所述流式数据进行筛选,其中,所述预设数据筛选条件包括预设数据协议。
4.根据权利要求1所述的方法,其特征在于,所述利用所述特征数据提取器,提取所述流式数据中与所述目标维度以及所述目标特征对应的网络安全特征数据,具体包括:
将所述流式数据输入到所述特征数据提取器中,以使所述特征数据提取器按所述目标维度对所述流式数据进行分组,并从分组后的流式数据中提取出与所述目标特征匹配的网络安全特征数据。
5.根据权利要求1所述的方法,其特征在于,所述提取所述流式数据中与所述目标维度以及所述目标特征对应的网络安全特征数据之后,所述方法还包括:
基于所述特征数据提取器的提取器头部以及所述网络安全特征数据,生成特征数据集合列表,其中,所述特征数据集合列表包括第一表头、第二表头以及与每个第一表头和每个第二表头对应的列表结果,所述第一表头包括所述目标维度,所述第二表头包括所述目标特征,所述列表结果包括与每个目标维度和每个目标特征对应的所述网络安全特征数据。
6.根据权利要求5所述的方法,其特征在于,所述生成特征数据集合列表之后,所述方法还包括:
响应于样本数据获取指令,从所述特征数据集合列表中查找与所述样本数据获取指令相对应的目标特征数据,其中,所述样本数据获取指令包括任意第一表头和/或任意第二表头,所述样本数据获取指令用于获取模型训练样本;
判断所述目标特征数据是否为数值型数据,并当所述目标特征数据为非数值型数据时,基于所述目标特征数据的数据类型,调用对应的数据处理模型;
依据所述数据处理模型,将所述目标特征数据转化为数值型数据,以利用转化后的目标特征数据进行模型训练。
7.根据权利要求5所述的方法,其特征在于,所述基于所述特征数据提取器的提取器头部以及所述网络安全特征数据,生成特征数据集合列表之前,所述方法还包括:
判断所述网络安全特征数据是否为数值型数据,并当所述网络安全特征数据为非数值型数据时,基于所述网络安全特征数据的数据类型,调用对应的数据处理模型;
依据所述数据处理模型,将所述网络安全特征数据转化为数值型数据,以利用转化后的网络安全特征数据生成特征数据集合列表。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海观安信息技术股份有限公司,未经上海观安信息技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110999767.X/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





