[发明专利]一种数据异构方法、装置、系统及存储介质

说明书

本发明实施例公开了一种数据异构方法、装置、系统及存储介质。该方法应用于目标业务系统，目标业务系统中设置有目标数据源和分布式任务，包括：在监测到来源于分布式任务中的监控点生成事件时，获取监控点生成事件对应的监控点；获取目标数据源中与监控点相应的异构后数据，基于监控点对异构后数据进行校验；若根据校验结果确定异构后数据与监控点对应的异构前数据不一致，则根据异构前数据对异构后数据进行更新。本发明实施例的技术方案，通过数据异构过程中生成的监控点对目标数据源中异构后的业务数据进行校验，并在根据校验结果确定该业务数据在两个数据源中不一致时执行数据更新操作，由此保障了异构后的业务数据在两个数据源中的一致性。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据异构方法、装置、系统及存储介质。

背景技术

数据异构在很多应用场景中均有所应用，如从订单ID分库分表到商家ID分库分表、多张表合并成一张表等等均是数据异构。

在实际应用中，某业务数据在由原始数据源异构到目标数据源时，当原始数据源是mysql时，此时可以基于开源的订阅binlog日志的组件模拟mysql的从服务器(slave)的交互协议，将自己伪装为slave，以便从mysql的主服务器(master)中读取到binlog，并将读取结果存储到目标数据源中。

在实现本发明的过程中，发明人发现现有技术中存在以下技术问题：目标数据源所在的目标业务系统本身也可能存在一些业务逻辑，目标业务系统可能会对从原始数据源异构到目标数据源中的业务数据进行更改，这种更改将致使异构后的业务数据在原始数据源和目标数据源中不一致。

发明内容

本发明实施例提供了一种数据异构方法、装置、系统及存储介质，解决了异构后的业务数据在两个数据源中可能不一致的问题。

第一方面，本发明实施例提供了一种数据异构方法，该方法可应用于目标业务系统，目标业务系统中设置有目标数据源和分布式任务，该方法包括：

在监测到来源于分布式任务中的监控点生成事件时，获取监控点生成事件对应的监控点，其中，监控点是原始数据源中的异构前数据异构到目标数据源时新增在分布式任务中的记录；获取目标数据源中与监控点相应的异构后数据，基于监控点对异构后数据进行校验；若根据校验结果确定异构后数据与监控点对应的异构前数据不一致，则根据异构前数据对异构后数据进行更新。

可选的，监控点配置有预设时间窗口，基于监控点对异构后数据进行校验，可以包括：在监控点生成事件的监测时间点后的预设时间窗口时，基于监控点对异构后数据进行校验。

可选的，基于监控点对异构后数据进行校验，可包括：若监控点中的新增状态信息和异构后数据中的异构状态信息均是预设状态信息，则分别获取监控点新增到分布式任务中的新增时间点、以及异构后数据异构到目标数据源中的异构时间点；获取当前时间点，相较于新增时间点，若异构时间点更接近当前时间点，则根据异构时间点和新增时间点间的时间差值是否大于预设时间阈值，对异构后数据进行校验。

可选的，基于监控点对异构后数据进行校验，可以包括：获取预先设置的各状态信息的先后出现顺序；若监控点中的新增状态信息和异构后数据中的异构状态信息属于不同的原始业务系统，则根据新增状态信息以及异构状态信息在先后出现顺序中的相对位置，对异构后数据进行校验。

可选的，上述数据异构方法，还可以包括：

在监测到来源于MQ中主题的数据更新事件时，根据数据更新事件对MQ进行消费；将从MQ中消费到的异构前数据写入目标数据源中，且根据消费结果在分布式任务中生成监控点；

相应的，根据异构前数据对异构后数据进行更新，可以包括：再次对MQ进行消费，得到异构前数据；根据已得到的异构前数据对异构后数据进行更新。