[发明专利]一种并行异步高效采集分析方法及其系统

说明书

本发明提供一种并行异步高效采集分析方法及其系统，该方法包括向智能调度模块下发设备数据的采集分析任务，并采用异步方式下发到任务采集模块；任务采集模块依据预先设置的数据采集规则，将采集分析任务转换为标准化数据采集任务并下发到并行异步采集模块；并行异步采集模块根据采集任务类型将采集到的数据结合于缓存历史数据进行数据整合，并将整合后的数据发送给数据分析模块；数据分析模块基于业务分析模型进行数据分析得出分析结果，并将分析结果推送给用户端。本发明的系统应用于上述的方法。应用本发明对全网设备性能数据通过并行异步方式进行高效采集分析，可以实现分钟级监控巡检，并行效率高，云应用效率高。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种并行异步高效采集分析方法以及应用该方法的系统。

背景技术

目前光纤网络运营商的用户数通常达上百万户，网络中的通信设备包括骨干网设备、汇聚层设备、接入网设备等。各业务部门需要实时掌握网络中运行情况和业务健康状态。这时需要对网络的TCP/IP设备进行实时的监控分析，运营支撑平台收到外部系统的请求，会把要分析处理的网络设备管理模块发送相应的GET指令。

运营商的网络设备数据通常保存在一个数据库中，网管系统通过SNMP协议、telnet协议、SOAP协议、HTTP协议对设备发送指令请求数据，在对这些数据进行请求处理时，网管系统会同步地往其他设备发送请求指令，并阻塞等待，并将结果进行汇总返回。

在通信网络中，网管系统负责巡检网络中的设备数据和同步业务数据并进行分析预警，为业务运营提供可靠保障，由于数据规模庞大，全网数据巡检分析的耗时在5分钟以上，这样很难对全网设备和业务系统实现分钟级监控巡检，不能及时预判网络中潜在的网络性能隐患，导致客户降低对通信运营商支撑的满意度。

发明内容

本发明的主要目的在于提供一种对全网设备性能数据通过并行异步方式进行高效采集分析，以实现实时网络监控巡检，并行效率高，云应用效率高的并行异步高效采集分析方法。

本发明的另一目的在于提供一种应用于上述方法的并行异步高效采集分析系统。

为了实现上述的主要目的，本发明提供的一种并行异步高效采集分析方法，该方法包括以下步骤：向智能调度模块下发设备数据的采集分析任务，并采用异步方式下发到任务采集模块；任务采集模块依据预先设置的数据采集规则，将采集分析任务转换为标准化数据采集任务并下发到并行异步采集模块；并行异步采集模块根据采集任务类型将采集到的数据结合于缓存历史数据进行数据整合，并将整合后的数据发送给数据分析模块；数据分析模块基于业务分析模型进行数据分析得出分析结果，并将分析结果推送给用户端。

进一步的方案是，通过用户端向智能调度模块下发设备数据的采集分析任务，所述采集分析任务包含有智能调度模块需要采集的设备类型、设备数量、业务分析类型、参数模型。

更进一步的方案是，所述设备数量的计数包括：对同一设备的同一监控任务根据设备响应情况进行任务数控制；对同一设备的数据采集完之后，释放对该设备的采集任务，并开始下一待采集设备的采集任务；对全局设备数进行控制。

更进一步的方案是，建立业务分析模型包括：定期加载更新业务分析模型；对不同设备类型、外部系统数据进行定时业务分析；根据不同任务对模型参数阈值进行动态设定。

更进一步的方案是，建立参数模型包括：定义多种综合分析算法；不同算法在不同时间段定义不同参数模型；根据不同任务加载不同参数模型数据。