[发明专利]数据稽核系统和方法

说明书

本发明公开了一种数据稽核系统和方法。其中，数据稽核系统包括：采集装置，用于基于Zookeeper调度集群调度技术，通过分布式的方式对数据源进行采集；稽核装置，用于对所采集的数据源进行稽核。本实施例基于Zookeeper调度集群调度技术，通过分布式的方式对数据源进行采集，然后对所采集的数据源进行稽核，可以对海量的数据进行分布式、并行处理，可以大幅度提高了数据采集和数据稽核的速度，还可以提高数据稽核的精度，另外，能实现采集能力随采集集群设备的增加而线性增长。

技术领域

本发明涉及信息技术领域，尤其涉及一种数据稽核系统和方法。

背景技术

随着信息技术的快速发展，很多事物被抽象成了数据，然后被加工处理。为了确保数据处理的准确性，通常人们采取重复校对的方式对数据进行稽核(稽查、复核)，然而，当数据量较大时，现有的数据稽核方式不仅效率低而且精度低。例如，在电信领域，会有还量的数据源需要稽核。通常，采用DCC(Diameter Credit-Control，一种信用控制协议)实现的实时在线计费，通过核心网侧和业务支撑侧系统的互动，根据用户预存和信用度以及用户的资费，实时计算用户是否能使用通信网络。当用户费用(含信用度，下同)足够的情况下正常使用网络、费用不够时立即禁止用户使用网络，防止用户透支产生不良欠费。

在线计费与用户计费相关的依据有三种：1、核心网产生的话单，由于该话单与在线计费无关，称为离线话单；2、DCC消息通信记录，检查DCC消息，这是在线计费的实时通信记录，也称为在线消息话单；3、在线计费话单，只是业务支撑网根据DCC消息交互情况根据一定规则生成的话单。

以流量在线计费为例，这三种计费依据的关系如下：1、三种话单之间关于一次通信行为(指用户从通信发起到通信结束)的计费要素(含计费ID、用户位置信息、用户使用流量情况、通信时间等)理论上应该相同；2、在线消息是用户通信过程中核心网和业务支撑系统的实时消息交互，其实时性最高，在线话单是在线计费控制过程根据设定的规则准实时生成的，其实时性较DCC消息低，但远高于离线话单，离线话单是核心网根据设定规则生成，没有参与实时控制，同时由于涉及跨系统的传输，其实时性最差；3、用户的一次通信行为如果足够长或流量大，一次通信行为的三种话单都可能会包含多条分话单，这些话单的计费ID会相同，每种话单从第一张分话单开始到最终通信结束，所有的分话单会有一个从1开始序列号，并在最后一张话单会有用户通信结束的标记表示是最后一张话单，每种话单所有分话单的流量相加就是用户这次通信行为使用的总流量；4、三种不同话单的分话单的分割基本上分割点不同步，分话单条数也不相同，其中在线消息话单数远大于在线话单和离线话单，一般是在线话单数的3-5倍，在线话单多于离线话单，一般是离线话单的1.2-1.5倍；5、为了确保在线计费用户使用网络的感知，在线计费的三种话单理论上基于用户同一次通信行为应该累加的计费流量相同，但实际情况由于各个话单的产生点不同，处理程序不同，很有可能会有部分环节存在数据误差。特别是核心网的话单产生机制在设备许可时经过专门机构的检验，而在线话单的产生机制只是省内自行验证，没有专门的评测机构检测，其可靠性没有离线话单高。

三方话单稽核需要处理的话单量远大于计费系统的话单量，其总量是计费话单总量的3-5倍，传统的三方话单稽核采用小型机单机+冷备模式进行话单采集、小型机进行话单稽核比对，存在投入成本高、扩展性差、系统性能差，稽核发现问题与计费时间点时间差距有8-12小时，不利于及时发现在线计费的问题。

传统模式话单采集采用单小型机+冷备模式采集话单，设备利用率不高，面对三方稽核的海量话单采集效率低下；小型机模式的话单比对，话单比对工作处理海量数据，传统的小型机模式扩展性差，投入高，任务处理效率不高，延时大。

如何将海量数据源进行快速、准确数据稽核成为业界迫切需要解决的问题。

发明内容

鉴于以上所述的一个或多个问题，本发明实施例提供了一种数据稽核系统和方法。

第一方面，提供了一种数据稽核系统，包括：