[发明专利]一种针对高竞争电商业务的数据管理系统及事务处理方法

说明书

本发明提出了一种数据管理系统，包括输入输出管理模块、执行器模块、事务管理模块、日志管理模块。本发明还提出了一种针对高竞争电商负载的事务处理方法，将工作线程与数据分区绑定，每个线程只需负责自己的分区，过滤掉无效的操作，并将相似操作合并执行，极大地减少了竞争事务之间对数据锁的竞争。

技术领域

本发明涉及数据库系统管理技术领域，尤其涉及针对高竞争电商业务的数据管理系统及事务处理方法。

背景技术

随着电商业务的发展，大量的离线交易被在线交易取代。作为事务处理的关键支柱，数据库管理系统承受的压力越来越大。不同于传统的实体店交易，在线交易打破了空间的限制，数以百万甚至千万的顾客可以在同一时间发起购买请求。根据[6]，阿里巴巴在购物节中每秒要处理的交易高达491,000个。这种业务需要数据库有能力处理高并发的负载。

更加棘手的是，高并发往往来带对数据的高竞争。在促销活动期间，大量的用户会在同一时间读或写相同的存货清单，导致多个事务争相访问相同的数据项，造成高竞争。高竞争的场景会使系统响应时间变长，当一个请求没有获得响应，用户很可能会重复发送请求，进一步增多了无效的负载量，给数据库管理系统带来了更大的压力。

1.并发控制(concurrency control)：并发执行的事务之间的相互影响可能导致数据库状态的不一致，即使各个事务能保持状态的正确性，而且也没有故障发生。因此，不同事务各个步骤的执行顺序必须以某种方式进行规范，该规范是由数据库管理系统的调度器部件完成，而保证并发执行的事务能保持一致性的整个过程成为并发控制。

2.可串行化调度(Serializable Schedules)：如果存在串行调度S’，使得对于每个数据库初态，调度S和S’的效果相同，我们就说这个调度S是可串行化的。

3.两阶段封锁(two-phase locking，2PL)：在每个事务中，所有的封锁请求先于所有的解锁请求。“两阶段”是获得锁的第一阶段和放弃锁的第二阶段。在这种条件下，可以保证一致事务的合法调度是竞争可串行化的。两阶段封锁像一致性一样，是对一个事务中动作的顺序进行限制的条件。服从2PL条件的事务被称为两阶段封锁事务。

4.乐观的并发控制协议(optimistic concurrency control protocol)：在调度事务的操作时假设没有非可串行化行为发生，并且只在违例很明显的时候做恢复。乐观的方法不同于封锁的地方在于，当确实发生问题时唯一的补救措施是中止并重启试图参与非可串行化的事务。

为了更好地处理高竞争负载，本发明给出如下定义：

定义一同质操作(homogeneous operations)：如果操作满足以下三个条件，则它们是同质的：

1)它们是由相同sql模板生成的update操作；

2)它们对属性的更新只涉及增加或减少一个常量；

3)他们访问相同的元组。

定义二存在一个属性a，由于某些约束的存在，a必须属于一个左闭区间。

1)如果一个更新操作O试图将属性a的值减去一个正数，那么O是一个数量限制型更新(CC-Update)；

2)如果一个更新操作O试图将属性a的值加上一个正数，那么O是一个数量补充型更新(CS-Update)；

在上述两种情况下，a都被称为O的约束属性。

现有技术存在的问题：