[发明专利]数据同步方法、装置、电子设备及存储介质

权利要求书

1.一种数据同步方法，其特征在于，所述方法包括：

从源数据库的二进制日志中确定对所述源数据库中的单张源表执行数据批量插入操作时产生的多个插入行事件；

依次针对每一所述插入行事件，对所述插入行事件进行解析，得到与所述插入行事件对应的解析结果，以及根据所述解析结果构建与所述插入行事件对应的增量迁移数据，将所述增量迁移数据存入指定存储介质；

当确定满足设定的数据批量同步条件时，基于所述指定存储介质中已存的所述增量迁移数据构造批量插入SQL语句；

对目标数据库中与所述源表对应的目标表执行所述批量插入SQL语句。

2.根据权利要求1所述的方法，其特征在于，所述增量迁移数据包括：所述数据批量插入操作对应的插入行事件总数、对应的所述插入行事件的序号；在所述根据所述解析结果构建与所述插入行事件对应的增量迁移数据，将所述增量迁移数据存入指定存储介质之后，还包括：

根据所述增量迁移数据包括的所述插入行事件的序号和所述插入行事件总数确定是否满足设定的数据批量同步条件；其中，当确定所述增量迁移数据包括的所述插入行事件的序号等于所述插入行事件总数时，确定满足所述数据批量同步条件；当确定所述增量迁移数据包括的所述插入行事件的序号小于所述插入行事件总数时，确定不满足所述数据批量同步条件。

3.根据权利要求1所述的方法，其特征在于，在所述根据所述解析结果构建与所述插入行事件对应的增量迁移数据，将所述增量迁移数据存入指定存储介质之后，还包括：

确定所述指定存储介质中已存的所述增量迁移数据的总数量；

当确定所述总数量等于设定的批处理阈值时，确定满足设定的数据批量同步条件；

当确定所述总数量小于所述批处理阈值时，确定不满足设定的数据批量同步条件。

4.根据权利要求1所述的方法，其特征在于，所述从源数据库的二进制日志中确定对所述源数据库中的单张源表执行数据批量插入操作时产生的多个插入行事件，包括：

从源数据库的二进制日志中确定至少一个行事件集合，所述行事件集合中多个行事件的事件类型均为插入行事件且多个行事件在所述二进制日志中顺序排列；

针对每一所述行事件集合，将所述行事件集合中的多个行事件确定为对所述源数据库中的单张源表执行数据批量插入操作时产生的插入行事件。

5.根据权利要求1所述的方法，其特征在于，在所述将所述增量迁移数据存入指定存储介质之前，还包括：

确定是否满足设定的数据批量存储条件；

当确定满足所述数据批量存储条件时，执行所述将所述增量迁移数据存入指定存储介质的步骤；

当确定不满足所述数据批量存储条件时，基于当前构建的所述增量迁移数据构造单条数据插入SQL语句；

对所述目标表执行所述单条数据插入SQL语句。

6.根据权利要求5所述的方法，其特征在于，所述确定是否满足设定的数据批量存储条件，包括：

确定所述源表是否具有主键；

当确定所述源表不具有主键时，确定满足所述数据批量存储条件；

当确定所述源表具有主键时，确定不满足所述数据批量存储条件。

7.根据权利要求1所述的方法，其特征在于，所述将所述增量迁移数据存入指定存储介质，包括：

将所述增量迁移数据存入指定消息队列中，以及监听所述指定消息队列；

当监听到所述指定消息队列中存入增量迁移数据时，将所述指定消息队列中的增量迁移数据存入指定存储介质。