[发明专利]一种网管中间库数据采集的方法和装置

说明书

技术领域

本发明涉及通信技术领域，尤其一种网管中间库数据采集的方法和装置。

背景技术

随着移动行业用户和业务量的巨增，为了分析、提高和优化现有网络的数据处理能力，需要定时、定期的从海量的业务数据中获得有用的数据信息量；

就目前的数据采集系统中，一般都是采集一个粒度之后，记录此次采集时间，下次再采集下一个粒度时间的数据，如果源头的数据源出现了延迟，则会使得采集的数据不完整，从而导致上报的数据有缺失；另外，如果上级网管在获取数据时，源头的数据库出现了断链或网络出现故障，则此会导致数据漏报的情况出现。

如图1所示，目前网管中间库和上级网管数据采集的方法：

步骤101、每次从数据源中采集数据时，判断数据源是否具有可采集的数据，如没有，此次采集结束；如有数据则转入步骤102；

步骤102，采集此次采集时间的数据保存到网管中间库，并记录此次数据采集的时间；

步骤103，上级网管每间隔一段时间从网管中间库采集一次数据，并上报采集到的数据。

上述方法存在的缺点是(1)采集的数据不完整：由于话单、FTP和入库等各个环节的延时导致数据入库延时，网管一次采集到的数据可能不完整；(2)由于网络堵塞、服务器宕机等不可预知的原因，可能会出现网管没有采集到数据就上报的情况。

发明内容

本发明提供一种网管中间库数据采集的方法和装置，克服了现有技术中网管中间库数据采集不完整和缺失的问题。

一种网管中间库数据采集的方法，包括：

每次从数据源采集数据时，判定当前远程链路的状态，其中，所述远程链路的状态包括启动态、正常态或断链状态；

根据所述远程链路的状态从数据源中获取数据存储到网管中间库，其中，

如果所述远程链路的状态为启动态，则根据当前数据采集点的时间，将历史数据中与该时间相同的采集点的历史数据作为当前采集点的数据存储到网管中间库；

如果所述远程链路的状态为正常态，则从数据源采集数据存储到网管中间库中；

如果所述远程链路的状态为断链状态，则根据当前数据采集点的时间，将历史数据中与该时间相同的采集点的历史数据作为当前采集点的数据存储到网管中间库。

如果所述远程链路的状态为正常态，则从数据源采集数据存储到网管中间库中包括：

如果所述远程链路的状态为正常态，判断数据源中是否有可采集的数据，如果没有，则结束本流程，如果有可采集的数据，则采集数据存储到网管中间库中。

所述如果有可采集的数据，则采集数据存储到网管中间库中包括：

如果有可采集的数据，则通过预设的配置原则，获取此次采集时间的数据以及往前偏移N个采集粒度时间的数据，并将获取到的数据存储到网管中间库中，其中N为整数。

所述判定当前远程链路的状态包括：

判断当前远程链路的连接情况，如果是断链，则确定当前远程链路状态为断链状态；

如果当前远程链路的连接情况不是断链，则判断上次数据采集时远程链路状态是否为断链状态，如果上次数据采集时远程链路状态是非断链状态，则确定当前远程链路状态为正常态；

如果上次数据采集时远程链路状态是断链状态，则判断上次数据采集时远程链路状态是否为启动态，如果上次数据采集时远程链路状态不是启动态，则判定当前远程链路的状态为启动态；如果上次数据采集时远程链路的状态是启动态，则判定当前远程链路的状态为正常态。

该方法进一步包括：

如果上次数据采集时远程链路的状态是启动态，则判断启动到现在的时长是否达到启动保护预置值，如果没有达到，则确定远程链路的当前的状态为启动态，如果达到预置值，则确定远程链路的状态为正常态。

一种网管中间库数据采集的装置，包括：

链路判定单元，用于每次从数据源采集数据时，判定当前远程链路的状态；

数据采集模块，用于根据所述远程链路的状态从数据源中获取数据存储到网管中间库，其中，如果所述远程链路的状态启动态，则将当前数据采集点的时间发送至历史数据复制模块；

历史数据采集模块，用于根据当前数据采集点的时间，将历史数据中与该时间相同的采集点的历史数据作为当前采集点的数据存储到网管中间库。

所述当前远程链路的状态还包括正常态或断链状态，则所述数据采集模块还用于如果所述远程链路的状态为正常态，则从数据源采集数据存储到网管中间库中；如果所述远程链路的状态为断链状态，则将当前数据采集点的时间发送至历史数据复制模块。