[发明专利]一种大规模网络的数据采集方法和网络节点

说明书

技术领域

本发明实施例涉及云计算技术，特别涉及一种大规模网络的数据采集方法和网络节点。

背景技术

随着云计算的蓬勃发展，网络架构的规模也越来越大，因此，在大规模网络中，对于各个网络节点的各种信息数据的统计面临着巨大的挑战。在传统的方法中，对于全网的全局资源占用率等统计指标往往都是通过后分析得到。

现有技术中采用后分析方法对大规模的资源指标进行统计一般采取集中管理模式，划分数据仓库(即，管理节点)和资源节点，其中，资源节点负责各自资源占用率的采集和传送，管理节点负责全网全局资源相关数据的收集和存储；后分析系统是和管理节点连接的、专门的数据挖掘分析系统，对管理节点收集和存储的全网全局资源相关数据进行数据挖掘分析，输出最终的分析结果，传递给决策系统作为决策依据。但是，基于这种架构的后分析方法耗时很长，往往需要几小时甚至数天才能得到最终的分析结果。

而在诸如资源调度等需要实时得到统计数据的场景下，得到的数据越实时，效果才越好。因此，这种后分析方法在资源调度等场景下，就显得没有意义了，并且可能还是不可用的。这就亟需一种方法，来解决大规模网络中，对全局资源占用率等统计指标数据能尽快获取，最好是能实时获取。

发明内容

本发明实施例提供一种大规模网络的数据采集方法和网络节点，用以解决大规模网络中对于全局资源占用率等统计指标数据无法实时获取的问题。

有鉴于此，本发明实施例提供了一种大规模网络的数据采集方法，包括：

管理端任意选取网络中的一个节点作为起始节点，向所述起始节点发送网络资源占用率统计请求和所述网络中其他节点的节点范围，请求所述起始节点对网络资源占用率进行统计；

所述起始节点根据接收到的所述网络资源占用率统计请求和所述网络中其他节点的节点范围，将所述网络中的其他节点分为N组，从每一组中任意选取一个节点作为分起始节点，向每一个分起始节点分别发送所述网络资源占用率统计请求和该组中其他节点的节点范围；

所述每一个分起始节点根据接收到的所述网络资源占用率统计请求和该组中其他节点的节点范围，判断该组中其他节点的数目是否大于N，如果该组中其他节点的数目小于或者等于N，则不再对该组继续进行分组，该组中的其他节点为最终节点，向所述最终节点分别发送所述网络资源占用率统计请求；如果该组中其他节点的数目大于N，则将该组中的其他节点继续分为N组，从每一组中任意选取一个节点作为下一层分起始节点，向每一个下一层分起始节点分别发送所述网络资源占用率统计请求和该组中其他节点的节点范围；

重复上述判断步骤，直至所有分组中除分起始节点外的其他节点的数目小于或者等于N；

每一个最终节点根据收到的网络资源占用率统计请求，对该最终节点的网络资源占用率进行统计，并将统计结果上报给该最终节点所属的分起始节点；

每一个分起始节点收到所辖节点上报的网络资源占用率统计结果后，结合该分起始节点的网络资源占用率统计结果，再次进行计算统计，并将统计结果上报给该分起始节点所属的上一层分起始节点，直至逐层上报给所述起始节点，由所述起始节点计算得出最终的网络资源占用率；

所述起始节点将计算得出的最终网络资源占用率上报给所述管理端。

本发明实施例还提供了一种网络节点，包括：

接收单元，用于接收网络资源占用率统计请求和本节点所属集合中其他节点的节点范围，其中，所述网络资源占用率统计请求中包括发起请求的源IP地址和接收请求的目的IP地址、统计的起始时间和结束时间以及请求统计的资源度量名称，所述节点范围包括由节点标识组成的集合或者由节点的IP地址组成的集合；

判断分组单元，用于根据所述网络资源占用率统计请求和本节点所属集合中其他节点的节点范围，判断该集合中其他节点的数目是否大于N，如果该集合中其他节点的数目小于或者等于N，则不再对该集合继续进行分组，向该集合中的其他节点分别发送所述网络资源占用率统计请求；如果该集合中其他节点的数目大于N，则将该集合中的其他节点继续分为N组，从每一组中任意选取一个节点，向所述节点分别发送所述网络资源占用率统计请求和该组中其他节点的节点范围；

资源占用率统计单元，用于对本节点的网络资源占用率进行统计上报，以及当收到所辖节点上报的网络资源占用率统计结果后，按照如下计算公式再次进行计算统计，得到本节点对网络资源占用率的统计结果，并上报该统计结果：(本节点资源占用率+所辖节点资源占用率之和)/(1+所辖节点数)。