[发明专利]一种数据异构方法、装置、系统及存储介质

权利要求书

1.一种数据异构方法，其特征在于，应用于目标业务系统，所述目标业务系统中设置有目标数据源和分布式任务，所述方法包括：

在监测到来源于所述分布式任务中的监控点生成事件时，获取所述监控点生成事件对应的监控点，其中，所述监控点是原始数据源中的异构前数据异构到所述目标数据源时新增在所述分布式任务中的记录；

获取所述目标数据源中与所述监控点相应的异构后数据，基于所述监控点对所述异构后数据进行校验；

若根据校验结果确定所述异构后数据与所述监控点对应的所述异构前数据不一致，则根据所述异构前数据对所述异构后数据进行更新；

所述方法，还包括：

在监测到来源于MQ中主题的数据更新事件时，根据所述数据更新事件对所述MQ进行消费；

将从所述MQ中消费到的所述异构前数据写入所述目标数据源中，且根据消费结果在所述分布式任务中生成所述监控点；

所述根据所述异构前数据对所述异构后数据进行更新，包括：

再次对所述MQ进行消费，得到所述异构前数据；

根据已得到的所述异构前数据对所述异构后数据进行更新。

2.根据权利要求1所述的方法，其特征在于，所述监控点配置有预设时间窗口，所述基于所述监控点对所述异构后数据进行校验，包括：

在所述监控点生成事件的监测时间点后的所述预设时间窗口时，基于所述监控点对所述异构后数据进行校验。

3.根据权利要求1所述的方法，其特征在于，所述基于所述监控点对所述异构后数据进行校验，包括：

若所述监控点中的新增状态信息和所述异构后数据中的异构状态信息均是预设状态信息，则分别获取所述监控点新增到所述分布式任务中的新增时间点、以及所述异构后数据异构到所述目标数据源中的异构时间点；

获取当前时间点，相较于所述新增时间点，若所述异构时间点更接近所述当前时间点，则根据所述异构时间点和所述新增时间点间的时间差值是否大于预设时间阈值，对所述异构后数据进行校验。

4.根据权利要求1所述的方法，其特征在于，所述基于所述监控点对所述异构后数据进行校验，包括：

获取预先设置的各状态信息的先后出现顺序；

若所述监控点中的新增状态信息和所述异构后数据中的异构状态信息属于不同的原始业务系统，则根据所述新增状态信息以及所述异构状态信息在所述先后出现顺序中的相对位置，对所述异构后数据进行校验。

5.根据权利要求1所述的方法，其特征在于，所述将从所述MQ中消费到的所述异构前数据写入所述目标数据源中，包括：

将从所述MQ中消费到的所述异构前数据双写至第一数据表中和所述目标数据源中，其中，所述第一数据表中存储有每个物品的全量信息。

6.根据权利要求1所述的方法，其特征在于，还包括：

在监测到来源于所述目标数据源中的数据变更事件时，确定所述数据变更事件对应的所述异构后数据中的异构状态信息；

若根据所述异构状态信息确定所述异构后数据对应的业务流程节点并非是业务结束节点，则将所述异构后数据异构到第二数据表中。

7.根据权利要求1所述的方法，其特征在于，还包括：

在监测到数据采样事件时，根据所述数据采样事件确定数据采样条件；

根据所述数据采样条件分别获取所述目标数据源中的第一采样结果和已有数据源中的第二采样结果；

将所述第一采样结果和所述第二采样结果作为一组验证采样结果，并根据多组所述验证采样结果验证所述目标数据源中的各业务数据的正确性。

8.根据权利要求1所述的方法，其特征在于，所述原始数据源所在的原始业务系统包括仓储系统和/或配送系统，所述目标业务系统包括报表系统。