[发明专利]一种用户自定义海量网络安全数据动态采集方法

说明书

本发明公开了一种用户自定义海量网络安全数据动态采集方法，获取数据源信息；建立由已有采集策略和用户自定义采集策略组成的集合；将数据源与适用的采集策略绑定为采集任务；创建采集管理节点来管理和分配采集任务；创建并分布式部署多个采集代理来执行采集任务；获取采集代理的性能数据以及采集任务执行情况数据；根据采集代理的性能数据进行采集任务的动态调配。本发明在建立采集任务时提供用户自定义采集策略，及时适配新的数据源，易于实施，减少冗余的升级操作，通过采集管理节点动态调配任务，调整采集代理任务执行的效率，保证数据采集在海量数据环境中的高效性、实时性。

技术领域

本发明涉及计算机网络应用技术领域，尤其涉及一种用户自定义海量网络安全数据动态采集方法。

背景技术

互联网上每个网络安全设备实时产生大量的安全数据。为了更好地发挥网络安全设备的作用，监控预防安全事故的发生，就需要对日志安全数据进行分析处理。通过对海量数据的处理，高效挖掘真实、准确的安全事件，提高应急响应的能力。在当前的大数据环境中，数据采集变得非常重要。而在每一种采集系统应用中，都会面临数据源不全面、适配性差、效率低的问题。

例如：

场景1：大部分采集系统中内置了常见数据源的采集策略，通常采集策略包括采集指标、采集协议、采集指令、采集周期等配置项，以此满足数据采集需求。

这种方式存在以下缺陷：

在实际使用中存在无法及时适配新的数据源问题，当系统中增加新的数据源时，只能进行适配开发以及升级操作。

场景2：大数据环境中执行采集任务时，需要考虑采集的效率问题。大多数采集系统中提升效率的方法分为两种：

1)在每个数据源上安装一个代理，执行采集任务，代理数量根据数据源变化。

2)代理数量固定，为每个代理分配不同采集任务进行数据采集。

在当今大数据的环境中，采集的效率是采集系统的核心。上述两种方法分配采集任务的方式存在以下缺陷：

采集任务的分配方式为固定分配，不能按需对任务进行调配，导致采集节点上的负载不均衡。致使数据采集效率不能达到最优。

发明内容

鉴于上述问题，本发明提供一种用户自定义海量网络安全数据动态采集方法。本发明的目的在于及时适配新的数据源，易于实施，减少冗余的升级操作，以及保证数据采集在海量数据环境中的高效性、实时性。

为了达到上述目的，本发明的解决方案是：

一种用户自定义海量网络安全数据动态采集方法，所述用户自定义海量网络安全数据动态采集方法包括以下步骤：

获取被采集的数据源信息；

建立由已有采集策略和用户自定义采集策略组成的采集策略集；

将数据源与采集策略集中适用的采集策略绑定为采集任务；

创建一个采集管理节点来管理和分配采集任务；

创建并分布式部署多个采集代理来执行采集任务；

获取采集代理的性能数据以及采集任务执行情况数据；

根据采集代理的性能数据进行采集任务的动态调配。

依照本发明的一个方面，所述用户自定义海量网络安全数据动态采集方法包括：采集任务建立方法、采集任务管理分配方法以及采集任务动态调配方法；其中：

采集任务建立方法，包括以下步骤：