[发明专利]一种用户自定义海量网络安全数据动态采集方法

权利要求书

1.一种用户自定义海量网络安全数据动态采集方法，其特征在于，所述用户自定义海量网络安全数据动态采集方法包括以下步骤：

获取被采集的数据源信息；

建立由已有采集策略和用户自定义采集策略组成的采集策略集；

将数据源与采集策略集中适用的采集策略绑定为采集任务；

创建一个采集管理节点来管理和分配采集任务；

创建并分布式部署多个采集代理来执行采集任务；

获取采集代理的性能数据以及采集任务执行情况数据；

根据采集代理的性能数据进行采集任务的动态调配；

所述用户自定义海量网络安全数据动态采集方法具体包括：采集任务建立方法、采集任务管理分配方法以及采集任务动态调配方法；其中：

采集任务建立方法，包括以下步骤：

步骤001，预先装载采集策略集，从采集策略集中获取一个采集策略；如果可以获取采集策略执行步骤002；如果没有获取到采集策略执行步骤003；

步骤002，获取到一个采集策略后，判断是否与数据源适配；如果采集策略与数据源适配，那么执行步骤004；如果采集策略与数据源不能适配，执行步骤001，再次获取一个采集策略；

步骤003，创建新的采集策略，包括采集指标、采集协议、采集指令、采集周期四部分的输入，并将新创建的采集策略增加到采集策略集中；

步骤004，将适配的采集策略与数据源进行关联，完成采集任务的建立；一个采集任务包括：被采集的数据源信息、一条由采集指标、采集协议、采集指令、采集周期组成的采集策略；其中一个数据源对应一个或多个采集任务；依照上述步骤001～004循环建立采集任务，添加到采集任务集；

步骤005，将采集任务集下发到采集管理节点；

采集任务管理分配方法，包括以下步骤：

步骤006，采集管理节点接收到新的采集任务集；

步骤007，首次分配采集任务时，采集管理节点根据采集代理数量，对采集任务进行平均分配，采集任务最小分配单位为1个，将采集任务下发到分布式部署的采集代理上；

步骤008，采集代理接收采集任务后，执行数据采集；

步骤009，当采集代理执行采集任务后，将采集到的数据上报给采集管理节点；并且采集代理开启自身监控数据，定时向采集管理节点上报自身的性能数据，用于采集管理节点进行采集任务的动态调配；

采集任务动态调配方法，包括以下步骤：

步骤010，采集管理节点开启后台任务，支撑动态任务调配，在采集管理节点收集到采集代理上报的性能数据集合后，从数据集中获取一个采集代理性能数据中CPU使用率的值；获取到CPU使用率后执行步骤011，获取不到数据执行步骤017；

步骤011，将采集代理性能数据中CPU使用率与预先设定的CPU使用率阈值进行对比判断；当CPU使用率超过阈值后，执行步骤012；当CPU使用率小于阈值时，执行步骤013；

步骤012，CPU使用率超过阈值后，进行任务的撤回操作；撤回操作后该采集代理调度完成，继续获取下一个采集代理性能数据进行调度；

步骤013，CPU使用率小于阈值时，获取该采集代理性能数据中的网络吞吐量数值；获取到网络吞吐量后执行步骤014，如果获取不到执行步骤015；

步骤014，获取到网络吞吐量后，与预先设定的网络吞吐量阈值进行比较；当采集代理吞吐量大于阈值时，执行步骤012，即撤回任务操作；如果吞吐量小于阈值，执行步骤015；

步骤015，判断采集管理节点是否有剩余任务；

步骤016，有剩余任务则进行任务的增加操作，没有剩余任务则将该采集代理标记为空闲状态，当有剩余任务时，优先进行任务添加；执行完此操作后，执行步骤010，进行下一个代理任务调度；

步骤017，代理依次调度完成后，判断是否有剩余任务；如果没有剩余任务，则结束本次调度；

步骤018，如果有剩余任务，判断是否有空闲状态的采集代理；如果没有空闲状态的采集代理，则结束本次调度，并且告警提示有剩余任务不能下发；

步骤019，如果有空闲状态的采集代理，则进行任务的增加操作；执行完增加操作后，执行步骤017，进行下一轮的剩余任务判断，直至调度结束。

2.根据权利要求1所述的用户自定义海量网络安全数据动态采集方法，其特征在于，所述采集协议的自定义配置项包括但不限于ssh、snmp、syslog、wmi、jdbc。