[发明专利]一种分布式采集调度方法及装置

说明书

技术领域

本发明涉及IT运维领域，尤其涉及一种网管系统分布式采集调度的方法及装置。

背景技术

随着网络规模日益扩大，结构日渐复杂，对各类设备或应用服务的管理和维护难度越来越大，对智能化管理需求也越来越明显。

当网管设备数量太多或有VLAN划分时，一般的采集调度方法只有单一的采集系统，往往很难满足采集及时、CPU时间均衡占用等问题，这样不仅难以对设备性能数据进行准确采集，而且容易导致CPU占用忽高忽低致使系统响应不了的问题。

SNMP，Simple Network Management Protocol，简单网络管理协议。

JDBC，Java Data Base Connectivity，java数据库连接，用于执行SQL语句的Java API接口。

RMI，Remote Method Invocation，远程方法调用。

VLAN，Virtual Local Area Network，虚拟局域网。

发明内容

本发明的目的在于提供一种分布式采集调度方法及装置，该装置中包括一台中心服务器、一台代理服务器、多台采集机。用户可以配置多台采集机，只需要在中心服务器将需要采集的各种网络设备信息分配给不同的采集机，那么每个采集机就可以单独的调度自己的采集任务，从而更高效的实现采集任务调度，能够让每个采集机的CPU占用降到更低，降低系统负载不了的风险。

本发明特别适合网络设备繁多以及有VLAN划分的网络，可以将中心服务器、采集机分别放在不同的子网中，而中心服务器和采集机所在子网不需要能够通信，只需要它们分别可以与代理服务器通讯即可。相对于传统的采集方法，该方法进行采集是在各个子网中进行，那么所采集的性能数据就会更真实、更准确，从而提供更全方面、实时的监控。

本发明的目的通过如下方案实现：一种分布式采集调度方法，包括以下步骤：1）中心服务器录入监控设备及监控指标；2）中心服务器上配置与代理服务器的信息并进行认证；3）采集机上配置与代理服务器的信息并进行认证；4）在中心服务器上从代理服务器上获取采集机列表，并给每个采集机进行配置；5）采集机进行采集任务调度并进行采集；6）采集机上将采集值发送给代理服务器，并释放该次采集任务所占有的资源；7）代理服务器将采集值发送给中心服务器，中心服务器对采集值进行处理；8）中心服务器上对设备、监控指标作变更时，会将变更信息通过代理服务器发送给采集机进行变更。

应用上述方法，可以降低单个采集调度系统的资源利用，显著提高CPU均衡占用问题，并且采集数据处理及展现可以在中心服务器进行统一管理，这样不仅节约人工维护成本，而且也降低了维护管理的风险。

本发明中，所述步骤1）通过从EXCEL、XML、TXT自动导入或者人工编辑的方法录入网管设备信息及其监控指标、采集方式等相关信息。以每个设备的每个监控指标作为采集任务单位，可以保证每个监控指标不互相影响，从而达到各个监控指标的采集更真实。

本发明中，所述步骤2）、3）是分别配置中心服务器和采集机与代理服务器的信息并进行认证。其中涉及到中心服务器和采集机与代理服务器的通信方式，主要可以分为RMI (Remote Method Invocation，远程方法调用)、Socket方式。中心服务器和采集机之间不直接进行通信，都是将信息交给代理服务器来进行交互。配置代理服务器信息后会进行认证，认证方式使用认证码的方式，中心服务器、每个采集机所标识的认证码不同，从而确定在交互过程中消息的来源和目标。

本发明中，所述步骤4）是由中心服务器来配置采集机的信息，主要配置每个采集机所采集的设备及监控指标的范围，将采集信息按要求分配给不同的采集机，从而实现分布式采集。

本发明中，所述步骤5）是每个采集机如何进行采集调度的过程。采集机以监控指标为最小采集任务单位，将每个采集任务首先放入到任务调度队列中，任务调度队列调度采集任务方式可采用但不限于以下两种定时轮询模式：指定周期间隔轮询模式、指定时间点轮询模式。

本发明中，所述步骤6）是在步骤5）采集成功之后，采集机会将采集值发送到代理服务器上。当代理服务器收到采集机发送的值信息后，会给采集机返回发送成功的信息，到此则表示已经完成该周期的监控指标的采集，后续采集机上将进行线程、内存、连接等资源的释放。

本发明中，所述步骤7）中心服务器获取到代理服务器传过来的采集值后，会对采集值进行入库、阀值过滤、告警等处理，从而实现对网络设备及时、准确的监控。