[发明专利]流式数据的特征提取方法及装置、存储介质、计算机设备

说明书

本申请公开了一种流式数据的特征提取方法及装置、存储介质、计算机设备，该方法包括：接收流式数据，并获取所述流式数据对应的网络安全特征提取需求，其中，所述网络安全特征提取需求包括至少一个待提取的目标维度以及至少一个待提取的目标特征；依据所述目标维度以及所述目标特征，生成特征数据提取器；利用所述特征数据提取器，提取所述流式数据中与所述目标维度以及所述目标特征对应的网络安全特征数据。本申请通过构建特征数据提取器，并通过特征数据提取器提取流式数据的网络安全特征数据，能够对流式数据进行即时性特征提取，在充分发挥流式数据的低延迟性特点的同时，减少资源的占用量。

技术领域

本申请涉及数据处理技术领域，尤其是涉及到一种流式数据的特征提取方法及装置、存储介质、计算机设备。

背景技术

流式数据是一组顺序、大量、快速、连续到达的数据序列，是一种随时间延续而不断增加的动态数据集合。由于流式数据具有低延迟、高吞吐的特性，因而被广泛应用于对数据实时性要求较高的业务中，例如失陷主机判断、DNS请求数量提取等网络安全业务。

网络安全业务中，大部分流式数据均需要经过特征提取后再加以应用，而当前在对流式数据进行特征提取时，通常根据网络安全业务实际情况，预先设定时间周期，之后按照该时间周期对流式数据进行统一处理，提取出想要的特征。这种特征提取方法一方面无法充分发挥流式数据的低延迟的特点，一方面按照时间周期对流式数据统一进行特征提取前，需要对这些流式数据进行统一存储，当流式数据的吞吐量较高时，需要占用大量的主机资源。

因此，如何对网络安全业务中的流式数据进行即时性特征提取，在充分发挥流式数据的低延迟性特点的同时，减少资源的占用量，成为了本领域亟待解决的问题。

发明内容

有鉴于此，本申请提供了一种流式数据的特征提取方法及装置、存储介质、计算机设备，能够对网络安全业务中的流式数据进行即时性特征提取，在充分发挥流式数据的低延迟性特点的同时，减少资源的占用量。

根据本申请的一个方面，提供了一种流式数据的特征提取方法，包括：

接收流式数据，并获取所述流式数据对应的网络安全特征提取需求，其中，所述网络安全特征提取需求包括至少一个待提取的目标维度以及至少一个待提取的目标特征，所述目标维度包括IP维度、时间维度以及mac局域网地址维度中的至少一种，所述目标特征包括DNS请求数量特征、ICMP请求数量特征、HTTP请求数量特征、DNS域名集合特征以及页面访问次数特征中的至少一种；

依据所述目标维度以及所述目标特征，生成特征数据提取器；

利用所述特征数据提取器，提取所述流式数据中与所述目标维度以及所述目标特征对应的网络安全特征数据。

可选地，所述网络安全特征提取需求包括请求DNS域名去重数量，所述请求DNS域名去重数量包括所述IP维度以及所述DNS域名集合特征。

可选地，所述获取所述流式数据对应的网络安全特征提取需求之前，所述方法还包括：

依据预设数据筛选条件，对所述流式数据进行筛选，其中，所述预设数据筛选条件包括预设数据协议。

可选地，所述依据所述目标维度以及所述目标特征，生成特征数据提取器，具体包括：

分别依据每个目标特征，建立与所述每个目标特征各自匹配的特征数据提取工具；

依据所述目标维度、所述目标特征以及所述特征数据提取工具，生成所述特征数据提取器，其中，所述特征数据提取器包括提取器头部以及提取器主体，所述提取器头部用于指示所述目标维度以及所述目标特征，所述提取器主体包括所述特征数据提取工具。

可选地，所述利用所述特征数据提取器，提取所述流式数据中与所述目标维度以及所述目标特征对应的网络安全特征数据，具体包括：