[发明专利]基于日志分析的数据同步方法及数据同步装置

说明书

本发明提供一种基于日志分析的数据同步方法及数据同步装置，所述方法包括：响应于目标数据库的数据同步指令，抽取源数据库中的增量操作日志；获取所述增量操作日志的标识值，所述标识值唯一确定与所述增量操作日志相对应的源记录；将具有相同标识值的所述增量操作日志顺序存放至中转空间；其中，所述中转空间是具有固定物理地址的存储区域；从所述中转空间顺序读取所述增量操作日志，根据所述增量操作日志对目标数据库进行数据同步。本发明对增量操作日志进行标识，将具有相同标识值的增量操作日志存储到同一个分区，可以保证目标数据库从该分区中读取的增量操作日志是一系列完整连贯的操作动作，从而实现目标数据库与源数据库之间的高度统一。

技术领域

本发明涉及数据库技术领域，尤其涉及一种通过抽取数据库日志的方式实现源数据库与目标数据库之间的数据同步的方法、装置、计算机设备及存储介质。

背景技术

目前，采用日志文件实现源数据库和目标数据库之间的数据同步已经得到了普遍应用，其原理是将日志文件从源数据库传输到目标数据库，然后在目标数据库上应用这些文件，从而使目标数据库与源数据库保持同步。然而随着用户的迅速增长和数据量的不断扩大，直接访问数据库会使其越来越不堪重负，这种情况下业内比较认可的做法是引入分布式流数据管理平台如kafka，将从源数据库中抽取到的日志文件放入kafka消息队列，等待目标数据库从kafka消息队列中对日志文件进行消费。

作为一种分布式发布订阅消息系统，Kafka会将特定主题的所有消息(例如数据库日志)均匀分布到不同的分区中，以实现负载均衡和水平扩展，这里的分区指的是事先划分好的具有特定物理地址的存储区域。然而数据库的多条操作日志记录之间很可能具有关联性，例如针对某条数据记录在不同时刻执行了不同的操作，如果具有关联性的日志记录被存储到了不同的分区中，那么后续目标数据库在消费某一分区的日志消息时很可能会因为无法获得完整的操作日志轨迹而造成数据同步的失败。

因此，如何解决消息的分布式存储和保持被存储消息的关联性之间的矛盾，成为本领域技术人员亟待解决的问题。

发明内容

本发明的目的是提供一种基于日志分析的数据同步方法、装置、计算机设备及存储介质，用于解决现有技术存在的问题。

为实现上述目的，本发明提供一种基于日志分析的数据同步方法，包括以下步骤：

响应于目标数据库的数据同步指令，抽取源数据库中的增量操作日志；

获取所述增量操作日志的标识值，所述标识值唯一确定与所述增量操作日志相对应的源记录；

将具有相同标识值的所述增量操作日志顺序存放至中转空间；其中，所述中转空间是具有固定物理地址的存储区域；

从所述中转空间顺序读取所述增量操作日志，根据所述增量操作日志对目标数据库进行数据同步。

进一步地，所述获取所述增量操作日志的标识值的步骤包括：

获取所述增量操作日志中的主键；

对所述主键进行哈希变换以得到所述标识值。

进一步地，所述根据所述增量操作日志对目标数据库进行数据同步的步骤包括：

获取所述增量操作日志中的操作动作；

获取目标数据库中与所述源记录相对应的目标记录；

对所述目标记录执行所述操作动作。

进一步地，所述将具有相同标识值的所述增量操作日志顺序存放至中转空间的步骤包括：

将具有相同的第一标识值的第一增量操作日志顺序存放至第一中转空间，以及

将具有相同的第二标识值的第二增量操作日志顺序存放至第二中转空间；