[发明专利]一种日志解析方法、数据同步系统、电子设备及存储介质

说明书

本申请公开了一种日志解析方法、数据同步系统、电子设备及存储介质，包括：从源数据库获取第一时间的第一元数据信息，并将第一元数据信息与本地存储的第二时间的第二元数据信息进行校验，其中，第二元数据信息为第一元数据信息执行指定指令后的信息；在校验失败的情况下，对第一时间到第二时间的增量日志进行解析，以获取指定指令；获取指定指令对应的逆向指令，得到对应的目标指令；根据第二元数据信息和目标指令获取第三元数据信息，并使用第三元数据信息替换第二元数据信息，以通过校验；根据第三元数据信息对第一时间的日志进行解析，解决了相关技术中，历史元数据和解析模块实际获取到的当前元数据不一致导致历史日志解析失败的技术问题。

技术领域

本申请涉及到数据同步领域，具体而言，涉及一种日志解析方法、数据同步系统、电子设备及存储介质。

背景技术

关系型数据库从源库到目标库进行数据实时迁移、同步部分场景下，需要解析历史时间的日志，但是经常会遇到历史时间的历史元数据和解析模块实际获取到的当前元数据不一致的情况，导致历史时间日志解析失败，针对该技术问题，相关技术尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种日志解析方法、数据同步系统、电子设备及存储介质，以至少解决现有技术中在解析历史日志时，历史元数据和解析模块实际获取到的当前元数据不一致导致的历史日志解析失败技术问题。

根据本申请的一个方面，提供了一种日志解析方法，包括：从源数据库获取第一时间的第一元数据信息，并将所述第一元数据信息与本地存储的第二时间的第二元数据信息进行校验，其中，所述第二元数据信息为所述第一元数据信息执行指定指令后的信息；在校验失败的情况下，对所述第一时间到所述第二时间的增量日志进行解析，以获取所述指定指令；获取所述指定指令对应的逆向指令，得到对应的目标指令；根据所述第二元数据信息和所述目标指令获取第三元数据信息，并使用所述第三元数据信息替换所述第二元数据信息，以通过二次校验；根据所述第三元数据信息对所述第一时间的日志进行解析。

可选地，获取所述指定指令对应的逆向指令，得到对应的目标指令包括：判断所述指定指令是否为可逆指令，其中，所述可逆指令为第一表结构执行第一指令后得到第二表结构，且可以通过所述第二表结构和所述第一指令的逆向指令唯一计算出所述第一表结构的指令；根据判断结果，获取所述指定指令对应的逆向指令，得到对应的目标指令。

可选地，根据判断结果，获取所述指定指令对应的逆向指令，得到对应的目标指令包括：在所述指定指令为所述可逆指令时，将所述指定指令的逆向指令设置为所述目标指令；在所述指定指令为非可逆指令时，获取所述第一时间到所述第二时间的增量日志中指定事件的元数据信息；通过所述指定指令对应的逆向指令结合对应时间的指定事件的元数据信息确定所述目标指令。

可选地，所述指定事件包括表映射事件。

可选地，根据所述第二元数据信息和所述目标指令获取第三元数据信息包括：将所述目标指令按照时间倒序排列，得到目标指令集合，将所述第二元数据信息中的表结构设置为初始表结构；执行下列循环步骤，直至目标表结构和所述第一元数据信息中的表结构的列数保持一致：设置所述初始表结构执行所述目标指令集合中的目标指令，得到目标表结构，其中，所述目标指令为所述目标指令集合中的第一个指令；将所述目标表结构、所述目标指令的下一个未使用的指令作为下一次循环步骤的输入。

可选地，将所述第一元数据信息与本地存储的第二时间的第二元数据信息进行校验包括：获取所述第一元数据信息的第一表的列数以及所述第二元数据信息的第二表的列数；将所述第一表的列数与所述第二表的列数进行校验。

可选地，在所述指定指令无法生成对应的逆向指令时，发出报错。

可选地，在校验失败的情况下，所述方法还包括：设置从所述源数据库获取元数据信息的操作进入等待状态，并判断所述等待状态的持续时间；在所述持续时间超过预设阈值时，发出报错。