[发明专利]数据稽核系统和方法

权利要求书

1.一种数据稽核系统，其特征在于，包括：

采集装置，用于基于Zookeeper调度集群调度技术，通过分布式的方式对数据源进行采集；

稽核装置，用于对所采集的数据源进行稽核。

2.根据权利要求1所述的系统，其特征在于，所述采集装置包括：第一调度管理器和分布式布置的多个采集应用节点，其中：

所述第一调度管理器，用于为各个采集应用节点分配数据源采集任务；

所述采集应用节点，用于按所述第一调度管理器所分配的采集任务来采集所述数据源。

3.根据权利要求2所述的系统，其特征在于，所述第一调度管理器还用于：

a)获取位于由N个所述数据源所组合的队列中位置n处的采集应用节点p，N是自然数，n的初始值为1；

b)判断所述采集应用节点p是否已经建立ftp连接；

c)查看当前已经建ftp连接的采集应用节点下是否有采集文件，

当有采集文件时，转至d)，否则转至e)；

d)获得所述数据源下的文件目录列表，针对所述文件目录列表中的每个文件进行采集；

e)将n数加1，判断加1后的n是否小于等于N，

当n≤N时，转至a)，否则，将n设置为1，再转至a)。

4.根据权利要求3所述的系统，其特征在于，所述第一调度管理器还用于：

A)根据所述数据源的ID、文件名称将所述采集文件信息写入分布式数据库的采集断点表；

B)从所述文件目录列表中取当前未处理文件的文件名F，从所述数据源中获取文件名为F的文件，并存储至目标目录下；

C)判断所述目标目录下存放文件F的大小是否与所述文件目录列表中的文件大小一致，

当大小一致时，转至D)，否则，删除所述目标目录下的文件名为F的文件，并转至B)；

D)删除所述数据源中的文件F，更新断点表状态为文件采集完成，并记录完成时间；

E)将当前处理文件F在所述文件目录列表中更新为已处理；

F)判断所述文件目录列表中的所有文件是否都已处理，如果存在未处理的文件则转至B)，否则结束本轮采集处理。

5.根据权利要求2所述的系统，其特征在于，所述采集应用节点包括：

传输组件，用于通过传输协议传输所述数据源；

过滤组件，用于将所传输的数据源按预设的过滤规则进行过滤。

6.根据权利要求5所述的系统，其特征在于，所述采集装置还包括：

文件系统，用于分布式存储过滤后的数据源。

7.根据权利要求1-6中任一项所述的系统，其特征在于，所述稽核装置包括：第二调度管理器和分布式布置的多个稽核应用节点，其中：

所述第二调度管理器，用于为各个稽核应用节点分配数据源稽核任务；

所述稽核应用节点，用于按所述第二调度管理器所分配的稽核任务来稽核所述数据源。

8.根据权利要求7所述的系统，其特征在于，所述稽核应用节点包括：

数据归集组件，用于将相同索引标识的数据源进行合并整理；

稽核判断组件，用于对所合并整理的具有相同索引标识的数据源分别进行累加，当所述数据源全部累加完时，分别对所累加得到的数值进行比对。

9.根据权利要求8所述的系统，其特征在于，所述稽核应用节点还包括：

强制稽核组件，用于当预设时间内没有采集到新的数据源时，强制分别对所累加得到的数值进行比对。

10.根据权利要求1-6中任意一项所述的系统，其特征在于，所述数据源包括：在线计费话单、离线话单和在线消息话单。

11.一种数据稽核方法，其特征在于，包括以下步骤：

采集基于Zookeeper调度集群调度技术，通过分布式的方式对数据源进行采集；

对所采集的数据源进行稽核。