[发明专利]数据一致性采集方法

说明书

技术领域

本发明涉及通信和网络数据采集方法领域，特别是一种数据一致性采集方法。

背景技术

随着通信、网络服务产品的增多，受理渠道的多样化，网络业务平台的复杂化，常常需要多个网元共同配合来实现某项业务，这些相互配合的网元的某些数据必须保持一致，但是，由于网络故障、数据传输故障、干扰、突发事件以及企业产品设计的业务流程和管理制度的不完善等原因，网络中数据不一致情况日趋严重，由此造成的业务、计费及服务问题，导致了用户投诉增加，客户满意度降低，企业业务收入流失。目前，还没有良好的技术手段来解决数据不一致的检测、处理及相关的管理问题，通常是运营商被动地通过客户的投诉才发现网元间的数据不一致，最后发起对网元间数据的处理，保持业务支撑网单元和数据承载网单元的数据一致。

如何主动地、及时地发现网络中相关网元数据的不一致情况是最终完善解决网络数据一致性问题的关键技术之一。而如何全面、准确、及时地采集网元间要求保持一致的数据是解决这一系列问题的第一步。特别是对于有大量的数据需要进行采集和处理时，进行一次全面的数据采集处理可能需要耗费大量的时间和资源，如何做到全面、准确、及时地采集更是非常重要。

发明内容

本发明为解决上述问题提供了可以全面、准确、及时地采集网元间要求保持一致的数据的方法，并且特别适用于数据一致性的比对同步系统。

本发明的技术方案如下：

数据一致性采集方法，其特征在于：采用全量采集和增量采集相结合的数据采集方式从网元采集数据；所述全量采集要求网元导出所有的要求保持一致的数据；所述增量采集是针对要求保持一致的数据，只采集上一次采集时间到当前采集时间内发生变化的数据。

所述通过全量采集和增量采集结合，是指在处理数据一致性问题时，采用全量采集来保证数据采集的全面性和准确性，尽可能不遗漏在基准时间段内网元间要求保持一致但实际不一致的数据；采用增量采集来保证数据采集的及时性，这样就可以避免重复采集已经保持一致的数据，浪费系统的资源和时间。

所述网元是指网络中具有数据存储功能的节点，包括用于业务受理和管理的业务支撑网中的网元和用于实现业务的业务承载网的网元。

所述数据采集是从网元获取数据的过程。

所述全量采集和增量采集通过文件方式或联机方式实现要求保持一致的数据的采集。

所述联机方式指建立网络连接，通过网络传输采集到要求保持一致的数据的方式；所述文件方式指将要求保持一致的数据以文件方式保存，再通过文件拷贝或文件传输的方式采集到要求保持一致的数据。

所述联机方式包括采集连接建立和传输过程，采集连接建立是指由比对同步系统或网元发起采集请求至建立采集连接的过程，采集连接根据采集协议的不同，建立不同的连接，如ftp、http、tcp/ip或自定义协议等；所述传输是网元间要求保持一致的数据在网元之间进行传输的过程。

本发明的有益效果如下：

本发明采用全量和增量结合的方法，既可以保证对网元间要求保持一致的数据采集处理的全面性、准确性，又可以保证数据网元间要求保持一致的数据采集处理的及时性，从而大大增强检测、处理数据不一致的系统的实时性和准确性，提高其处理性能。本发明特别适用于通信、银行、保险、股票证券交易、各种缴费系统、网络对帐等领域；本发明还特别适用于数据一致性比对同步系统和方法。

附图说明

图1为本发明的数据采集处理过程示意图

图2为本发明所适用的数据一致性比对同步系统的功能构架示意图

图3为本发明所适用的数据一致性比对同步系统的数据处理流程图

具体实施方式

实施例1

如图1所示，数据一致性采集方法，采用全量采集和增量采集相结合的数据采集方式从网元采集数据；所述全量采集要求网元导出所有的要求保持一致的数据；所述增量采集是针对要求保持一致的数据，只采集上一次采集时间到当前采集时间内发生变化的数据。

所述通过全量采集和增量采集结合，是指在处理数据一致性问题时，采用全量采集来保证数据采集的全面性和准确性，尽可能不遗漏在基准时间段内网元间要求保持一致但实际不一致的数据；采用增量采集，来保证数据采集的及时性，这样可以避免重复采集已经保持一致的数据，浪费系统的资源和时间。

所述网元是指网络中具有数据存储功能的节点，包括用于业务受理和管理的业务支撑网中的网元和用于实现业务的业务承载网的网元。

所述数据采集是从网元获取数据的过程。