[发明专利]基于日志解析同步的操作合并执行方法和数据同步系统

说明书

本发明公开了一种基于日志解析同步的操作合并执行方法和数据同步系统，操作合并执行方法包括：日志接收线程在接收到提交操作后，按照顺序为提交操作设置提交编号，并将提交操作所属的待执行事务分发至相对应的事务执行线程；日志接收线程在接收到DML操作后，获取发生于DML操作之前，且最接近于DML操作的提交操作的目标提交编号，采用目标提交编号标记DML操作；事务执行线程从待执行事务中取出当前待执行操作；根据当前待执行操作所携带的目标提交编号，确定当前待执行操作与其他待执行事务的相容性，进而确定是否可以进行操作合并。在本发明中，以提交操作作为分界线最大限度的合并操作可以有效的提升同步的性能。

技术领域

本发明属于数据同步技术领域，更具体地，涉及一种基于日志解析同步的操作合并执行方法和数据同步系统。

背景技术

传统的基于数据库自身的主备机制实现数据库数据的实时复制，是进行数据容灾备份，保障数据安全的重要的解决方案。目前，例如ORACLE公司的DataGuard和达梦数据库的DM7主备产品都是实现这种解决方案的成熟的商业化产品。数据库主备机制下，一般备机作为备份节点，通常只提供只读访问，可以在备机上做一些报表分析、数据挖掘等只读访问的应用，而不能像主机一样提供读写访问。另外，数据库主备机制要求备机数据库系统和主机一致，对于异构数据库系统环境，则不能利用数据库自身的主备机制实现有效的数据实时复制。

针对数据库主备机制实现数据复制的不足，目前基于软件的异构数据库复制技术应用广泛。这种技术在源端捕获出数据库的增量数据，然后发送到目的端，在目的端通过通用的数据库访问接口，将增量数据应用到目的端数据库，实现数据复制。这种技术因为使用到通用数据库接口，因此支持异构数据库系统复制，支持异构操作系统环境，并且目的端备机数据库系统可读写，是一种“双活”系统。

有多种技术方式实现获取源端数据库的增量数据，其中基于数据库日志捕获分析的数据实时同步技术，因其对源数据库侵入性小，捕获分析性能高，得到较大发展及研究。这种技术通过分析源数据库归档或联机日志，捕获出数据库的INSERT、UPDATE、DELETE操作日志，然后发送到目的端，目的端对日志信息进行逆向生成，恢复成SQL语句方式，然后使用数据库通用接口，应用到目的端数据库，实现数据复制。因此，在数据库实时复制过程中，目的端的执行效率是影响数据同步性能的重要因素。

源端数据库上并发执行的各个事务中可能存在大量批量执行的操作，数据库系统都会根据并发控制机制去执行，把相冲突的事务操作互斥执行，并且在日志文件中顺序的记录下各个事务的操作日志，数据同步时应该尽可能还原出源端的批量操作以提升同步性能。如果目的端数据复制软件严格按照源端日志流中的事务提交顺序进行串行执行，对事务中相同的操作合并后批量执行则能够保证数据复制的一致性，但是串行执行效率将会非常低，所以在目的端同步执行事务时往往会采取多线程并行执行的策略。在并行执行的环境下，单个事务在执行时同样需要采用相同操作合并后，批量执行的方式来提升同步性能，然而并行执行则需要考虑到正在执行的事务之间是否存在数据关联性的问题，事务在执行时不能无规则的合并相同的操作。因此，在如何保证数据复制一致性的前提下来合并事务内的操作，提高目的端数据复制的并行执行效率，就成为业界亟待解决的重要技术问题。

鉴于此，克服该现有技术产品所存在的不足是本技术领域亟待解决的问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于日志解析同步的操作合并执行方法和数据同步系统，其目的在于，在本发明中，数据库的日志流中记录的操作先后顺序可以直接反映出各个事务的操作在数据库内部执行的先后顺序，而以日志流中的提交操作作为分界线则反映出各个事务操作在数据内部执行的并行度，最大限度的合并操作可以有效的提升同步的性能。

为实现上述目的，按照本发明的一个方面，提供了一种基于日志解析同步的操作合并执行方法，所述操作合并执行方法包括：