[发明专利]一种数据同步操作编号的方法及设备

说明书

本发明涉及一种数据同步操作编号的方法及设备。其方法部分主要包括：在源端建立待同步表队列，将需要同步的表加入待同步表队列，并设置表的日志解析起始LSN以及日志解析终止LSN；源端收到待解析的操作后，通过判断操作所属的表是否属于待同步表队列以及操作的LSN是否处于日志解析起始LSN以及日志解析终止LSN之间来完成对操作的解析以及对操作的编号。本发明通过设置日志解析起始LSN和日志解析终止LSN，可以让日志解析服务明确该表在日志流的哪个LSN以后才开始需要对该表的日志操作进行解析，这样可以保证故障重启以后，再次对解析的日志操作编号时可以得到和上次相同的编号顺序。

技术领域

本发明涉及数据库数据处理技术领域，特别是涉及一种数据同步操作编号的方法及设备。

背景技术

目前基于数据库日志分析的异构数据库复制技术应用广泛。这种技术在源端捕获出数据库的增量数据，然后发送到目标端，在目标端通过通用的数据库访问接口，将增量数据应用到目标数据库，实现数据复制。这种技术因为使用到通用数据库接口，因此支持异构数据库系统复制，支持异构操作系统环境，并且目标端备机数据库系统可读写，是一种“双活”系统。

基于数据库日志分析的同步系统进行同步时一般以事务为单位进行同步，当分析到事务提交日志操作时，通过事务ID定位到相应的事务，然后再把相应事务中的操作在目标端数据库入库处理，完成该事务的同步。

在事务同步时，事务在源端数据库上存在部分回滚操作，因此，在管理事务中的操作时一般需要按操作顺序进行从小到大的编号，然后，再根据操作编号的大小来完成部分回滚动作。另外，在需要对数据同步操作顺序一致性检查的同步环境中，对每个事务上的操作按顺序从小大进行编号，就可以很方便的实现事务操作顺序一致性的校验，同一个事务中相邻两个操作的编号相差为1，如果不是，则说明事务在传输过程中有丢失操作。而在同步系统运行时，往往需要动态的增加或减小需要同步的表，这种动作就有可能导致同步系统在故障重启以后和故障之前相同事务每个操作设置的编号不一致，最终影响了以靠编号来完成部分回滚操作的准确性或影响目标端数据同步服务校验事务操作顺序一致的准确性。

现有日志解析的数据同步系统中，在解析源端数据库日志时，一般采用的是按需解析，日志捕获模块在捕获到某个操作日志时，先提取该操作对应的表ID，然后通过表ID来获取表的定义，如果发现该表不需同步，便直接丢弃该日志操作，避免浪费CPU资源，不给丢弃的日志操作编号是因为它会影响事务操作编号的连续性，从而影响目标端数据同步服务进行事务操作顺序的校验；反之，则根据获取的表定义解析日志，然后按该操作出现在事务中的顺序进行编号。可以看到上述日志解析的数据同步系统中在解析日志时是按需解析的，然后根据实际解析到的操作进行顺序编号，当一个事务中出现多张表的操作时，而这些表有些需要同步，有些不需要同步，那么在不同的同步需求下就会出现相同的操作在同一个事务中编号不一致的问题。

鉴于此，如何克服现有技术所存在的缺陷，如何解决数据同步系统在日志解析时如何给事务的每个操作进行编号的技术问题，如何保证在故障重启的情况下相同事务的每个操作编号和故障之前的完全一致就成为业界亟待解决的重要技术难题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供一种数据同步操作编号的方法及设备，利用日志LSN和待同步的表进行绑定的方式，为每个待同步的表设定它的日志解析起始LSN和日志解析终止LSN，这样在数据同步过程中动态的添加或删除待同步表时，在故障重启以后都能按照该表的日志解析起始LSN和日志解析终止LSN进行解析，保证每个事务的操作无论经过多少次解析都能得到相同的操作编号，实现数据同步事务中每个操作编号的一致性。

本发明实施例采用如下技术方案：

第一方面，本发明提供了一种数据同步操作编号的方法，包括：

在源端建立待同步表队列，将需要同步的表加入待同步表队列，并设置表的日志解析起始LSN以及日志解析终止LSN；