[发明专利]一种基于范围行锁的并行执行方法及设备

说明书

本发明涉及一种基于范围行锁的并行执行方法及设备。其方法部分主要包括：将单事务合并为多事务且设置多事务的提交LSN以及并行LSN，并将多事务注册到执行线程链表；单事务处理步骤：执行线程提取多事务中的下一个单事务开始执行并将该单事务的提交LSN作为分隔线LSN；通过对操作类型、并行LSN大小、分隔线LSN大小以及ROWID范围锁是否冲突的判断来进入相对应的步骤；线程提交步骤：判断当前单事务是否为最后一个单事务，若是则执行线程提交操作，若不是则重新进入单事务处理步骤。本发明采用的方法可以优化那些无冲突数据同步操作的并行度，从而提升数据同步的性能，并且还减小了ROWID对内存的占用。

技术领域

本发明涉及数据库数据处理技术领域，特别是涉及一种基于范围行锁的并行执行方法及设备。

背景技术

目前基于日志解析的异构数据库复制技术应用广泛。这种技术在源端捕捉数据库的日志，解析出日志中的INSERT、UPDATE、DELETE操作，然后发送到目标端，目标端对日志信息进行逆向生成，恢复成SQL语句方式，然后使用数据库通用接口，应用到目标数据库，实现数据复制。因此，在数据库实时复制过程中，目标端的执行效率是影响数据同步性能的重要因素之一。

目标端数据库上执行同步事务时，需要以事务的提交顺序为基准来执行事务操作，不然前后有关联的操作执行时就会发生错误，从而影响同步的正确性。为了追求数据同步的性能，执行同步事务时往往会采取事务合并的策略，把小事务合并为大事务，不仅可以通过合并不同事务的相同操作来减少执行的次数，还可以减少事务提交的次数，从而达到提升同步性能的目的。另外还可以通过增加执行事务的线程数，采用多线程并行的策略同时对多个合并以后的事务进行入库，进一步的提升同步的性能。但是在同时采用了事务合并和并行执行的策略以后，需要防范和解决并行执行时带来的数据冲突问题。现有技术方案中有针对单事务并行采用ROWID冲突检测的方式来防范数据冲突，后提交的事务在执行时要对先提交的事务中涉及的ROWID进行冲突检测，该方案要在事务执行时先提取出事务所涉及操作的所有ROWID，这对事务规模较小的场景是有效的，但是当事务规模较大时，一次性得取事务的全部ROWID不仅会影响数据同步的性能，而且会消耗大量的内存用来存放ROWID信息，存在内存耗尽的风险。

鉴于此，如何克服现有技术所存在的缺陷，解决上述技术问题，是本技术领域待解决的难题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供一种基于范围行锁的并行执行方法及设备，针对单事务合并以后形成的多事务之间的高效并行执行制定一种可行的方案，主要以多事务中每个单事务的提交LSN为基线来划分并行执行的区间(也即设定分隔线LSN)，在第一并行区间(也即第一分隔线LSN之前的区间，第一个分隔线LSN称之为并行LSN)的操作并行执行，并在执行时提取操作的ROWID，再采用ROWID合并的方式，把多个ROWID合并为一个范围用来减小ROWID信息对内存的占用。除第一并行区间以外的其它并行区间在执行时，要确保排在前面区间的操作已经执行完成，然后使用当前操作的ROWID和前面的执行线程的ROWID范围进行冲突检测，确认无冲突以后再执行；如果有冲突，则需等待前面多事务提交以后再执行。

本发明实施例采用如下技术方案：

第一方面，本发明提供了一种基于范围行锁的并行执行方法，包括：

将单事务合并为多事务且设置多事务的提交LSN以及并行LSN，并将多事务注册到执行线程链表；

单事务处理步骤：执行线程提取多事务中的下一个单事务开始执行并将该单事务的提交LSN作为分隔线LSN；

通过对操作类型、并行LSN大小、分隔线LSN大小以及ROWID范围锁是否冲突的判断来进入相对应的步骤；

线程提交步骤：判断当前单事务是否为最后一个单事务，若是则执行线程提交操作，若不是则重新进入单事务处理步骤。