[发明专利]基于日志解析同步的保障数据一致性的方法和同步系统

说明书

本发明公开了一种基于日志解析同步的保障数据一致性的方法和同步系统，方法包括：将提交事务表中的表标识和相应的日志序列号加载至过滤容器中；获取DML操作所属的事务标识和DML操作所涉及的表标识，以事务标识和表标识为组合键，对DML操作进行分类管理，以将一个事务分割为至少一个子事务；获取提交操作的提交事务标识和提交日志序列号；获取事务标识与提交事务标识相同的目标子事务，依次提取目标子事务的表标识；基于提交日志序列号、目标子事务的表标识和过滤容器对目标子事务进行过滤，以保障数据同步的一致性。本发明中，每个表在提交事务表中只登记一行信息，这就大大缩减了提交事务表中的数据规模，防止产生访问热点。

技术领域

本发明属于同步技术领域，更具体地，涉及一种基于日志解析同步的保障数据一致性的方法和同步系统。

背景技术

数据库数据实时同步是提高信息系统可用性，保证业务连续性的一种技术方案。通过数据实时同步，目标数据库和源数据库的业务数据保持实时一致，当源数据库出现故障中断服务后，应用系统可快速切换至目标数据库，保证业务连续性的要求。

基于日志分析的数据库数据实时复制技术，具有对源数据库的性能和数据模式影响小、支持异构操作系统和数据库平台、数据复制性能高等特点，在应急灾备、多业务中心、异构资源整合、数据迁移等领域得到广泛应用。这种技术通过源端的日志捕获进程捕获源数据库的在线日志或归档日志，然后分析出数据库的INSERT(插入)、UPDATE(更新)以及DELETE(删除)操作转换为内部特定格式的消息包，再将消息包通过TCP/IP(TransmissionControl Protocol/Internet Protocol，简写为TCP/IP)网络发送到复制系统的目的端，目的端接收消息包后，进行拆包处理，将源端的事务信息恢复成相应的SQL(StructuredQuery Language，简写为SQL)语句，通过本地数据库接口在目标数据库执行实时复制，以实现数据库数据同步。

为保证源数据库和目标数据库的数据一致性，基于日志分析的数据库数据复制技术通常以源数据库的事务为最小复制单位，严格按照源数据库事务顺序进行实时数据复制，保障目标数据库与源数据库的事务的完整性和一致性，确保目标数据库符合源数据库的事务逻辑。因此，在基于日志分析的数据库数据复制技术中，其技术关键在于如何保障源数据库和目标数据库的事务一致性，特别是在复制系统出现故障后，目标数据库能够按照事务完整性及一致性的要求进行正确的恢复。

目前，为了保证目标数据库与源数据库的复制事务的完整性及一致性，一般采用的方法如下：在目标数据库中创建一个提交事务表记录已完成同步的事务信息。复制系统出现故障进行恢复时，续传的待执行事务需要使用提交事务表中记录的事务信息来过滤掉故障前已经完成同步的事务，避免事务的重复执行，以此保障故障恢复后的事务一致性。

但是，上述基于提交事务表登记已同步事务的方案需要登记已同步的所有事务信息，这种方式在特定的应用场景下会拖慢同步的性能，例如存在大量小事务的同步场景(小事务指的是单个事务中操作的数量非常少，每个事务可能只有一两个操作)，在这种场景下每同步一个事务，事务提交表中就会记录一条事务信息，大量的小事务在同步时就会向提交事务表插入大量的事务信息，并且事务提交表中大量的事务信息在同步过程中还需要通过检查点的方式来清除，集中式的访问提交事务表就会造成数据库产生热点形成性能瓶颈，从而影响数据同步性能。

鉴于此，克服该现有技术产品所存在的不足是本技术领域亟待解决的问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于日志解析同步的保障数据一致性的方法和同步系统，其目的在于，基于按表标识和事务的提交日志序列号来组织提交事务表中的信息，在数据同步运行过程中，每个表在提交事务表中只登记一行信息，这就大大缩减了提交事务表中的数据规模，可以有效的减少对提交事务表的访问次数，防止产生访问热点。