[发明专利]一种数据采集方法和系统

说明书

本发明公开了一种数据采集方法和系统，涉及计算机网络技术领域。本发明实施例通过动态监听，可以保证数据处理中心与采集探针在断开时，动态找寻存活的数据处理中心及采集探针来进行相应的采集处理，不会因为采集探针或数据处理中心因为某种原因停止，导致整个数据采集任务无法正确执行。进一步的，本发明实施例中，通过负载均衡，可以在批量采集多台设备时，使用多个采集探针动态进行采集作业，比起现有技术单一采集探针来可以提高更多的效率。并且，相比于现有技术单采集探针机制来讲，可以防止因为网络等原因，导致出现设备配置的采集探针处于不可用的状态，导致采集作业停止。

技术领域

本发明涉及计算机网络技术领域，特别涉及一种数据采集方法和系统。

背景技术

随着互联网技术的不断发展，以及网络应用需求的不断丰富，数据采集的应用越来越多，也越来越重要，比如数据处理中心的网元巡检等应用，都涉及到对各网元上相应数据采集操作。因此，数据采集的效率及准确性至关重要。

现有技术中，数据采集的主要解决方案是，在各网元端配置一采集探针，当需要执行数据采集任务时，数据处理中心对采集任务进行分解，通过采集探针从待采集网元上采集所需要的数据。

但是，现有的数据采集技术中，由于采集探针及数据处理中心对于后台是无感知的，若某数据处理中心或采集探针由于网络等原因，无法连接到网络，即处于非存活状态，无法正常连接的状态，则会导致数据采集失败或发生错误等问题，影响数据采集的准确性。另外，若某段时间针对某一网元的数据采集任务过多，则会导致其对应的采集探针压力过大，不但影响数据采集的效率，也容易由于采集探针压力过大导致崩溃等现象，最终导致数据采集失败或出错。鉴于此，迫切需要一种更加准确且能够耐受巨大的数据采集压力的数据采集解决方案，以适用日益迫切的数据采集需求。

发明内容

鉴于上述问题，本发明实施例提供一种数据采集方法及系统，以解决现有数据采集方案中不准确及无法承受巨大数据采集压力的问题。

本发明实施例采用了如下技术方案：

本发明一个实施例提供了一种数据采集方法，所述方法包括：

为各网元设置采集探针池，采集探针池中的各采集探针各自启动第一监听服务，周期性监听与数据处理中心的连接状态，且在数据处理中心启动第二监听服务，周期性监听与各采集探针的连接状态；

当需进行数据采集任务时，根据监听结果获取处于存活状态的数据处理中心，及待采集网元对应采集探针池中处于存活状态的采集探针，利用处于存活状态的数据处理中心及采集探针进行数据采集任务。

根据监听结果获取待采集网元对应采集池中处于存活状态的采集探针为多个，所述方法还包括：

评估多个处于存活状态的采集探针的负载状况，根据负载均衡方式确定优选采集探针；

所述利用处于存活状态的数据处理中心及采集探针进行数据采集任务具体为：

利用处于存活状态的数据处理中心及所述优选采集探针进行数据采集任务。

所述评估多个处于存活状态的采集探针的负载状况，根据负载均衡方式确定优选采集探针包括：

针对各采集探针，计算当前CPU使用率、当前内存使用率及分配内存空间的加权之和，得到各采集探针的负载状况的评分值；

将评分值最高的采集探针作为优选采集探针。

所述方法还包括：

当一次数据采集操作结束后，保留本次数据采集的采集连接；所述采集连接为用于执行本次数据采集操作建立的数据处理中心、采集探针及本次数据采集网元之间的网络连接关系；