[发明专利]一种日志解析方法、数据同步系统、电子设备及存储介质在审
| 申请号: | 202211409923.3 | 申请日: | 2022-11-10 |
| 公开(公告)号: | CN115730008A | 公开(公告)日: | 2023-03-03 |
| 发明(设计)人: | 苏腾辉;霍国铖;王旭;付大超 | 申请(专利权)人: | 阿里云计算有限公司 |
| 主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/28 |
| 代理公司: | 北京天同知创知识产权代理事务所(普通合伙) 16046 | 代理人: | 张岳峰 |
| 地址: | 310024 浙江省*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 日志 解析 方法 数据 同步 系统 电子设备 存储 介质 | ||
1.一种日志解析方法,包括:
从源数据库获取第一时间的第一元数据信息,并将所述第一元数据信息与本地存储的第二时间的第二元数据信息进行校验,其中,所述第二元数据信息为所述第一元数据信息执行指定指令后的信息;
在校验失败的情况下,对所述第一时间到所述第二时间的增量日志进行解析,以获取所述指定指令;
获取所述指定指令对应的逆向指令,得到对应的目标指令;
根据所述第二元数据信息和所述目标指令获取第三元数据信息,并使用所述第三元数据信息替换所述第二元数据信息,以通过二次校验;
根据所述第三元数据信息对所述第一时间的日志进行解析。
2.根据权利要求1所述的方法,其中,获取所述指定指令对应的逆向指令,得到对应的目标指令包括:
判断所述指定指令是否为可逆指令,其中,所述可逆指令为第一表结构执行第一指令后得到第二表结构,且可以通过所述第二表结构和所述第一指令的逆向指令唯一计算出所述第一表结构的指令;
根据判断结果,获取所述指定指令对应的逆向指令,得到对应的目标指令。
3.根据权利要求2所述的方法,其中,根据判断结果,获取所述指定指令对应的逆向指令,得到对应的目标指令包括:
在所述指定指令为所述可逆指令时,将所述指定指令的逆向指令设置为所述目标指令;
在所述指定指令为非可逆指令时,获取所述第一时间到所述第二时间的增量日志中指定事件的元数据信息;通过所述指定指令对应的逆向指令结合对应时间的指定事件的元数据信息确定所述目标指令。
4.根据权利要求3所述的方法,其中,所述指定事件包括表映射事件。
5.根据权利要求3所述的方法,其中,根据所述第二元数据信息和所述目标指令获取第三元数据信息包括:
将所述目标指令按照时间倒序排列,得到目标指令集合,将所述第二元数据信息中的表结构设置为初始表结构;
执行下列循环步骤,直至目标表结构和所述第一元数据信息中的表结构的列数保持一致:
设置所述初始表结构执行所述目标指令集合中的目标指令,得到目标表结构,其中,所述目标指令为所述目标指令集合中的第一个指令;将所述目标表结构、所述目标指令的下一个未使用的指令作为下一次循环步骤的输入。
6.根据权利要求1所述的方法,其中,将所述第一元数据信息与本地存储的第二时间的第二元数据信息进行校验包括:
获取所述第一元数据信息的第一表的列数以及所述第二元数据信息的第二表的列数;
将所述第一表的列数与所述第二表的列数进行校验。
7.根据权利要求1所述的方法,其中,在所述指定指令无法生成对应的逆向指令时,发出报错。
8.根据权利要求1所述的方法,其中,在校验失败的情况下,所述方法还包括:
设置从所述源数据库获取元数据信息的操作进入等待状态,并判断所述等待状态的持续时间;
在所述持续时间超过预设阈值时,发出报错。
9.根据权利要求1所述的方法,其中,在通过所述第一元数据信息对所述第一时间的日志进行解析之后,所述方法还包括:
根据解析结果,将所述第一元数据信息同步至目标数据库。
10.一种数据同步系统,包括:
拉取模块,用于通过权利要求1至9任一项所述的方法对源数据库的日志进行解析;
中间数据存储模块,用于存储所述拉取模块获取到的数据;
写入模块,用于将所述中间数据存储模块的数据进行处理后,写入至目标数据库。
11.一种电子设备,包括存储器和处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行以实现权利要求1至9任一项所述的方法步骤。
12.一种可读存储介质,其上存储有计算机指令,其中,该计算机指令被处理器执行时实现权利要求1至9任一项所述的方法步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里云计算有限公司,未经阿里云计算有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211409923.3/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





