[发明专利]一种基于网络设备的数据采集系统及方法

说明书

本发明提供一种基于网络设备的数据采集系统及方法，该系统包括采集引擎及规则引擎；所述采集引擎包括采集控制器、定时调度框架、消息服务接口、命令控制插件、设备发现插件、设备采集插件以及规则引擎；当采集系统启动时，自动加载定时框架，到达指定时间后，由定时框架启动插件进行设备数据采集；采集控制器用于接收系统监控控制命令；设备采集插件安装完毕后，采集控制器按照安装顺序依次启动设备采集插件，在启动过程中为设备采集插件分配调度作业以及数据上报；设备采集插件启动后按照之前分配的调度作业依据对应的监控协议工具获取设备数据，通过消息服务接口将数据上报给规则引擎。其应用实现实时检测，跨地区灵活部署，监控代理热部署。

技术领域

本发明属于数据采集领域，具体涉及一种基于网络设备的数据采集系统及方法。

背景技术

随着信息化应用的不断加深，企业对信息系统的依赖程度越发紧密。任何应用设备的故障都会对业务的正常运行造成非常大的影响。因此，采集网络资源（防火墙、交换机、路由器、主机、中间件及数据库等）的配置、运行、性能等数据，为有效判断设备运行情况提供依据。然而市场上的类似工具多以使用线程池与系统集成运行的运行方式。

基于J2EE和.NET为基础技术平台，采用SNMP、SSH、PING、JDBC等协议进行网络设备、主机、数据库、中间件运行状态和配置信息的采集、展示和管理的自有开发技术。

发明内容

有鉴于此，本发明提供一种基于网络设备的数据采集系统及方法。

本发明采用以下技术方案：一种基于网络设备的数据采集系统，其包括采集引擎及规则引擎；所述采集引擎包括采集控制器、定时框架、消息服务接口、命令控制插件、设备发现插件和设备采集插件；当采集系统启动时，自动加载定时框架，到达指定时间后，由定时框架启动插件进行设备数据采集；所述采集控制器用于接收系统监控控制命令；设备采集插件安装完毕后，采集控制器按照安装顺序依次启动设备采集插件，在启动过程中为设备采集插件分配调度作业以及数据上报；设备采集插件启动后按照之前分配的调度作业依据对应的监控协议工具获取设备数据，通过消息服务接口将数据上报给规则引擎。

进一步的，还包括用于监控、处理采集数据的监控引擎。

较佳的，所述监控引擎运行框架使用Apache Felix框架，主控器接收系统控制台命令进行监控引擎的安装、启停和卸载操作，监控引擎启动后由工具服务提供定时的协议操作与消息数据处理操作接口完成监控任务。

本发明还提供一种基于网络设备的数据采集方法，其包括以下步骤：S1：当采集器启动时，自动加载定时框架，到达指定时间后，由定时框架启动插件进行设备数据采集；S2：设备采集插件采集基础指标时首先判断采集是否为性能数据，若基础指标为性能数据则直接采集，将数据存入内存中，并进入S4；若基础指标非性能指标则执行S3；S3：采集关于此指标的数据并与嵌入式数据库中的信息进行对比；若数据库中取值为空或者两者数据不一致，则将其指标数据存入内存中并更新数据库中的信息，最终将这些基础指标数据传送至规则引擎；S4：规则引擎对基础指标数据根据相关策略进行加工处理，并将处理之后的数据通过消息服务接口将这些设备数据上报至上一级MQ，由监控引擎进行监控。

进一步的，S4中监控引擎对数据的监控包括以下步骤：S41： 监控引擎启动时向消息服务器发送启动信息，其中包括监控代理ID、安装位置和内置采集代理信息；S42：系统控制台通过监听消息服务队列收到监控引擎启动信息；S43：系统控制台将监控引擎启动信息存储在数据库引擎运行信息表中；S44：系统控制台读取监控引擎信息；S45：系统控制台下发监控引擎同步命令；S46：监控引擎中的引擎控制器接收引擎同步命令，通过广播命令中引擎ID判断是否为自己的命令信息；S47：监控引擎确认命令信息后，向系统控制台通过HTTP请求方式下载引擎关联的监控代理；S48：监控引擎控制器将下载到引擎安装目录下的监控代理解压并安装启动，开始执行监控任务。