[发明专利]一种复杂网络的数据分布式采集方法和装置

说明书

本发明公开了一种复杂网络的数据分布式采集方法和装置，方法包括：遍历复杂网络中的所有采集器和所有交换机，以获取每个采集器和每个交换机在复杂网络中的链路拓扑结构；基于链路拓扑结构将复杂网络中的所有采集器和所有交换机划分到多个网络层级中；在第一采集器所在的网络层级中确定一个距离第一采集器最近的第二采集器来执行第一采集器的采集任务；在连接到第一采集器的第一交换机所在的网络层级中确定一个距离第一交换机最近的第二交换机。本发明能够对网络拓扑结构保持敏感，根据网络拓扑结构和数据输入输出要求来适应性地调整采集任务的分配。

技术领域

本发明涉及数据采集领域，更具体地，特别是指一种复杂网络的数据分布式采集方法和装置。

背景技术

目前复杂网络的采集器有两种功能：一是采集基础设施的带外带内信息上报给复杂网络；二是作为一个负载均衡器。如果当前网络中有数个采集器，则这些采集器会均摊这些设备。如果有采集器服务出现异常，则复杂网络会自动把该采集器上绑定的资源自动绑定到其他采集器。

现有技术通常随机或选用一个负载较低的采集器绑定上资源。对于复杂网络来说采集器是IO(输入输出)密集型而不是计算密集型，所以对系统负载要求要小于对IO的要求。现有技术方案的问题是对于网络环境不敏感，各个采集器之间无法感知到其他采集器的网络层级，因此无法根据网络拓扑调整采集任务的分配。

针对现有技术的采集器无法根据网络拓扑调整采集任务的分配的问题，目前尚无有效的解决方案。

发明内容

有鉴于此，本发明实施例的目的在于提出一种复杂网络的数据分布式采集方法和装置，能够对网络拓扑结构保持敏感，根据网络拓扑结构和数据输入输出要求来适应性地调整采集任务的分配。

基于上述目的，本发明实施例的第一方面提供了一种复杂网络的数据分布式采集方法，包括执行以下步骤：

遍历复杂网络中的所有采集器和所有交换机，以获取每个采集器和每个交换机在复杂网络中的链路拓扑结构；

基于链路拓扑结构将复杂网络中的所有采集器和所有交换机划分到多个网络层级中；

响应于确定第一采集器离线，而在第一采集器所在的网络层级中确定一个距离第一采集器最近的第二采集器来执行第一采集器的采集任务；

响应于未能确定第二采集器，而在连接到第一采集器的第一交换机所在的网络层级中确定一个距离第一交换机最近的第二交换机，并确定一个连接到第二交换机并且距离第二交换机最近的第三采集器来执行第一采集器的采集任务。

在一些实施方式中，每个采集器均连接到多个基础设施；执行采集任务为从基础设施采集并向上一网络层级输出带内和带外数据信息，其中基础设施包括服务器、存储设备、网络设备、和防火墙。

在一些实施方式中，获取每个采集器和每个交换机在复杂网络中的链路拓扑结构包括：获取每个采集器和每个交换机在复杂网络中的每一条链路以及物理传输速度。

在一些实施方式中，确定一个距离第一采集器最近的第二采集器包括：响应于同时存在多个距离第一采集器最近的采集器，而选择到第一采集器的物理传输速度最大的链路的采集器作为第二采集器。

在一些实施方式中，确定一个距离第一交换机最近的第二交换机包括：响应于同时存在多个距离第一交换机最近的交换机，而选择到第一交换机的物理传输速度最大的链路的交换机作为第二交换机；

确定一个连接到第二交换机并且距离第二交换机最近的第三采集器包括：响应于同时存在多个距离第二交换机最近的采集器，而选择到第二交换机的物理传输速度最大的链路的采集器作为第三采集器。

在一些实施方式中，确定第一采集器离线包括：

持续监听第一采集器的心跳信号，并响应于第一采集器的心跳信号停止而检测第一采集器的连通性；