[发明专利]一种基于日志解析的数据同步方法和数据同步系统

权利要求书

1.一种基于日志解析的数据同步方法，其特征在于，所述数据同步方法包括：

日志分析线程在解析到DDL操作后，判断所述DDL操作的操作类型；

当所述DDL操作为创建操作时，为新创建的目标对象建立包含对象定义信息的离线字典文件；

获取针对所述目标对象的目标操作，根据所述目标操作管理所述离线字典文件；

从目的端获取检查点的日志序列号LSN1，根据所述日志序列号LSN1清理所述离线字典文件。

2.根据权利要求1所述的数据同步方法，其特征在于，所述当所述DDL操作为创建操作时，为新创建的目标对象建立包含对象定义信息的离线字典文件包括：

当所述DDL操作为创建操作时，获取所述创建操作的日志序列号和新创建的目标对象的定义信息；

将所述创建操作的日志序列号和所述目标对象的定义信息整合成第一版本定义信息，将所述第一版本定义信息存储于所述目标对象的离线字典文件中。

3.根据权利要求2所述的数据同步方法，其特征在于，所述获取针对所述目标对象的目标操作，根据所述目标操作的操作类型管理所述离线字典文件包括：

获取针对所述目标对象的目标操作；

判断所述目标操作的操作类型；

若所述目标操作为DDL操作，则判断DDL操作的操作类型；

当DDL操作为ALTER操作时，执行所述从目的端获取检查点的日志序列号LSN1，根据所述日志序列号LSN1清理所述离线字典文件的步骤，以管理所述离线字典文件。

4.根据权利要求3所述的数据同步方法，其特征在于，所述从目的端获取检查点的日志序列号LSN1，根据所述日志序列号LSN1清理所述离线字典文件包括：

根据检查点的日志序列号LSN1确定无效的定义版本在所述离线字典文件中的占比情况；

当无效的定义版本在所述离线字典文件中的占比大于设定的占比值时，基于有效的定义版本为所述目标对象创建新的离线字典文件，以清理离线字典文件中无效的定义版本；

将基于所述ALTER操作修改后的定义信息和所述ALTER操作的日志序列号整合为下一版本定义信息；

将所述下一版本定义信息追加在新的离线字典文件的尾部。

5.根据权利要求4所述的数据同步方法，其特征在于，所述根据检查点的日志序列号LSN1确定无效的定义版本在所述离线字典文件中的占比情况包括：

基于检查点的日志序列号LSN1从前往后遍历离线字典文件的各个定义版本；

当本次检查的定义版本的日志序列号小于日志序列号LSN1，且本次检查的定义版本不是最后一个定义版本，则本次检查的定义版本为无效版本，继续获取下一次检查的定义版本，直至定义版本的日志序列号大于日志序列号LSN1，以确定无效的定义版本。

6.根据权利3所述的数据同步方法，其特征在于，所述获取针对所述目标对象的目标操作，根据所述目标操作的操作类型管理所述离线字典文件还包括：

当所述目标操作为DROP操作时，在所述离线字典文件的尾部添加删除标记，并将所述DROP操作的日志序列号与所述删除标记建立关联。

7.根据权利要求6所述数据同步方法，其特征在于，所述从目的端获取检查点的日志序列号LSN1，根据所述日志序列号LSN1清理所述离线字典文件包括：

判断所述DROP操作的日志序列号是否小于所述日志序列号LSN1；

若小于，则删除所述离线字典文件；

若不小于，则继续获取最新的检查点的日志序列号LSN1，直至所述DROP操作的日志序列号小于日志序列号LSN1时，才删除所述离线字典文件。

8.根据权利要求2所述的数据同步方法，其特征在于，所述当所述DDL操作为创建操作时，为新创建的目标对象建立包含对象定义信息的离线字典文件包括：

当所述DDL操作为创建操作时，获取新创建的目标对象的对象ID；

基于所述目标对象的对象ID为所述目标对象的离线字典文件命名。