[发明专利]数据同步方法、装置、系统、设备及存储介质

说明书

本申请涉及一种数据同步方法、装置、系统、设备及存储介质，其中，方法包括：实时监听任务数据集合中每条任务数据的运行状态标识，运行状态标识包含多个状态字，每个状态字指示对应任务数据的一种运行状态是否改变；若监听到当前任务数据的运行状态标识包含的状态字发生改变，则将发生改变的状态字对应的运行状态数据发送至消息中间件，以指示数据接收端根据消息中间件中的运行状态数据对当前任务数据的运行数据进行实时更新操作。通过实时监听运行状态标识，将发生运行状态改变的任务数据对应的运行状态数据实时发送至消息中间件，数据接收端在消息中间件接收到运行状态数据时，立即更新对应的运行状态数据，增强了数据同步的实时性。

技术领域

本申请涉及数据同步方法、装置、系统、设备及存储介质，属于数据处理技术领域。

背景技术

目前应用对应数据处理的过程中，由A服务到B服务，或者数据集合的条件下，难免会遇到数据实时更新状态，尤其是对应历史数据的实时更新。例如，订单数据，对于订单中的状态、支付时间、物流时间等等一些变化量的数据，只有当前系统服务，例如A服务才能知道，对应B服务，或者相关服务，是无法感知的。

虽然说对应现在分布式框架，数据库主从框架，可以做到数据同步更新，或者实时更新。但是在大数据平台集合上，数据服务都是分开的。有可能数据需要实时提供给B方服务，这样的话，在大数据的环境下是无法做到，会带来一定延迟，虽然数据状态信息已经同步了，但是时效差，无法做到实时感知。

同样A方服务不会向B方服务开放数据库权限或者链接信息，更不可能将 A方服务的数据操作日志提供给B方服务(例如Binlog等等)，通常情况下都是提供http接口的方式，将数据发送给B方服务。

这样的做法，在数据量上有一定量的局限性，从而不能提高数据传输。而且对方服务会对访问接口进行权限限时，更加降低了数据的实时性和传输效率。

发明内容

本申请提供了一种数据同步方法、装置、系统、设备及存储介质，以解决现有数据同步方法实时性差、传输效率低问题。

为解决上述技术问题，本申请提供如下技术方案：

本申请实施例的第一方面，提供了一种数据同步方法，所述方法包括：

实时监听任务数据集合中每条任务数据的运行状态标识，所述运行状态标识包含多个状态字，每个所述状态字指示对应任务数据的一种运行状态是否改变；

若监听到当前任务数据的运行状态标识包含的状态字发生改变，则将发生改变的所述状态字对应的运行状态数据发送至消息中间件，以指示数据接收端根据所述消息中间件中的运行状态数据，对当前任务数据的运行状态进行实时更新操作。

本实施例的方案增加了对任务数据的运行状态标识的监听，实时监控当前任务数据运行状态的变化，并在监听到有运行状态变化时，将发生变化的运行状态数据发送至消息中间件，以指示数据接收端获取当前的运行状态数据，对当前任务数据的运行状态进行实时更新操作。本申请通过实时监听运行状态标识，将发生运行状态改变的任务数据对应的运行状态数据实时发送至消息中间件，实现了数据的动态更新，因为数据接收端在消息中间件接收到运行状态数据时，立刻更新对应的任务数据的运行状态数据，达到了数据的同步更新，增强了数据同步的实时性。

在本申请第一方面的第一种可能的实施方式中，若当前任务数据的运行状态标识包含的状态字未发生改变，则对应的任务状态数据不会发送至消息中间件。只对状态字发生改变的运行状态数据进行记录，可以减少对数据的中间存储，减少下行数据压力。

在本申请第一方面的第二种可能的实施方式中，所述实时监听任务数据集合中每条任务数据的运行状态标识之前，还包括：