[发明专利]实时数据仓库的数据校验方法、系统及计算机可读介质

权利要求书

1.一种实时数据仓库的数据校验方法，所述实时数据仓库与业务数据库进行实时数据同步，其特征在于，所述方法包括：

记录一校验时刻；

从所述业务数据库中获取所述校验时刻之前的业务数据；

等待一预设时长之后，从所述实时数据仓库中获取同步数据，所述同步数据对应于所述业务数据；

对比所述业务数据和所述同步数据，获得所述业务数据和所述同步数据之间的差异数据集合；以及

根据所述差异数据集合获得所述实时数据仓库的校验结果。

2.如权利要求1所述的数据校验方法，其特征在于，所述记录一校验时刻的步骤包括：

采用大数据计算框架启动一批处理作业，所述批处理作业适于从所述业务数据库中获取所述业务数据，以及从所述实时数据仓库中获取所述同步数据；以及

记录所述批处理作业的启动时间，将所述启动时间作为所述校验时刻。

3.如权利要求2所述的数据校验方法，其特征在于，所述大数据计算框架包括ApacheSpark框架。

4.如权利要求2所述的数据校验方法，其特征在于，所述对比所述业务数据和所述同步数据的步骤包括：

按照唯一主键将所述业务数据和所述同步数据对应起来，形成合并数据表，其中，具有相同唯一主键的所述业务数据和所述同步数据位于所述合并数据表中的同一行；以及

在所述合并数据表中逐行对比所述业务数据和所述同步数据，获得所述业务数据和所述同步数据不一致的差异数据。

5.如权利要求4所述的数据校验方法，其特征在于，所述差异数据集合包括以下三种错误：第一错误，所述业务数据包括所述唯一主键对应的第一数据，所述同步数据包括所述唯一主键对应的第二数据，所述第一数据和所述第二数据对应于相同的字段，所述第一数据不同于所述第二数据；第二错误，所述业务数据中包括所述第一数据，所述同步数据中不包括所述第二数据；以及第三错误，所述业务数据中不包括所述第一数据，所述同步数据中包括所述第二数据。

6.如权利要求5所述的数据校验方法，其特征在于，所述实时数据仓库包括删除标记字段，所述删除标记字段用于标记所述同步数据是否经过软删除操作，所述软删除操作不实际删除所述同步数据。

7.如权利要求6所述的数据校验方法，其特征在于，在所述第二错误下，根据所述差异数据集合获得所述实时数据仓库的校验结果的步骤包括：查找所述删除标记字段，若所述删除标记字段中不包括对应于所述第二数据的记录，则所述校验结果为所述实时数据仓库具有错误。

8.如权利要求1所述的数据校验方法，其特征在于，所述业务数据库中包括数据变更日志，所述数据变更日志中包括所述业务数据中的任意数据发生变更的变更时间，根据所述差异数据集合获得所述实时数据仓库的校验结果的步骤包括：比较所述变更时间和所述校验时刻，若所述变更时间早于所述校验时刻，则所述校验结果为所述实时数据仓库具有错误。

9.如权利要求8所述的数据校验方法，其特征在于，所述数据变更日志是二进制日志binlog。

10.如权利要求1所述的数据校验方法，其特征在于，所述实时数据仓库包括kudu数据库，所述业务数据库包括MySQL数据库。

11.如权利要求1所述的数据校验方法，其特征在于，由采集系统执行所述实时数据仓库与所述业务数据库的实时数据同步，所述采集系统具有系统延迟，所述预设时长等于所述系统延迟。

12.如权利要求1所述的数据校验方法，其特征在于，还包括：当所述校验结果为所述实时数据仓库具有错误时，修复所述错误。