[发明专利]一种基于日志解析的同步方法和同步系统

说明书

本发明公开了一种基于日志解析的同步方法和同步系统，该同步方法包括：日志接收线程判断操作的类型；当为DML操作时，将DML操作和操作编号添加到相应的事务缓存文件中，更新变量y等于当前DML操作的操作编号，更新存盘LSN等于当前DML操作的日志序列号；当为部分回滚操作时，采用目标操作编号x和目标变量y构造部分回滚区间[x，y]，并将部分回滚区间[x，y]添加在部分回滚链表中，更新存盘LSN等于当前部分回滚操作的日志序列号；当为提交操作时，将相应的事务分发给执行线程，执行线程根据待执行操作的操作编号和相应的部分回滚链表进行数据同步。

技术领域

本发明属于同步技术领域，更具体地，涉及一种基于日志解析的同步方法和同步系统。

背景技术

数据库数据实时同步是提高信息系统可用性，保证业务连续性的一种技术方案。通过数据实时同步，目标数据库和源数据库的业务数据保持实时一致，当源数据库出现故障中断服务后，应用系统可快速切换至目标数据库，保证业务连续性的要求。

基于日志分析的数据库数据实时复制技术，具有对源数据库的性能和数据模式影响小、支持异构操作系统和数据库平台、数据复制性能高等特点，在应急灾备、多业务中心、异构资源整合、数据迁移等领域得到广泛应用。这种技术通过源端的日志捕获进程捕获源数据库的在线日志或归档日志，然后分析出数据库的INSERT(插入)、UPDATE(更新)以及DELETE(删除)操作转换为内部特定格式的消息包，再将消息包通过TCP/IP(TransmissionControl Protocol/Internet Protocol，简写为TCP/IP)网络发送到复制系统的目的端，目的端接收消息包后，进行拆包处理，将源端的事务信息恢复成相应的SQL(StructuredQuery Language，简写为SQL)语句，通过本地数据库接口在目标数据库执行实时复制，以实现数据库数据同步。

在数据同步系统中，源端数据同步服务按照数据库日志生成的顺序来捕获数据库的操作，目的端数据同步服务则按照源端发送操作的先后顺序来接收管理事务，事务在目的端按事务ID分类管理，当收到某个事务的提交消息后，该事务才会被执行，因此事务在没有收到提交消息前该事务所有的操作都需要被缓存。而事务的操作数量规模是无上限的，如果把事务的操作都缓存在内存中那么势必会造成内存资源的紧张，严重的将会引起操作系统宕机。所以采取使用磁盘来缓存事务操作是目前数据同步软件常用的手段，但是由于事务操作的特殊性，事务操作在缓存到磁盘以后有可能会发生部分回滚的动作，这时就需要清理已经被缓存到磁盘中的操作，目前常用的清理方式是逆向定位操作后截断文件或是给相应回滚的操作上打标记等，如果采用多个操作批量压缩打包缓存的方式还需要对压缩的数据包解压等更加复杂的过程，上述这些清理方式运行过程中会产生随机IO，如果发生大规模的部分回滚，那么就会挤占IO资源，影响所在服务器上的其它程序的性能。

鉴于此，克服该现有技术产品所存在的不足是本技术领域亟待解决的问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于日志解析的同步方法和同步系统，其目的在于，根据操作编号构成部分回滚操作区间，部分回滚的动作将被收集在部分回滚链表中，对已经打包缓存的操作不作处理，虽然浪费了磁盘空间但是省去了部分回滚删除或标记的IO开销。

为实现上述目的，按照本发明的一个方面，提供了一种基于日志解析的同步方法，所述同步方法应用于目的端数据同步系统，所述目的端数据同步系统配套设置有日志接收线程和执行线程，在磁盘空间为每一事务上设置事务缓存文件，其中，所述事务缓存文件配套设置有变量y，所述事务缓存文件包括部分回滚链表和存盘LSN；所述同步方法包括：

所述日志接收线程判断操作的类型；

当为DML操作时，获取DML操作的操作编号和所述DML操作所属的事务ID，根据所述事务ID确定相应事务缓存文件；