[发明专利]一种分布式持久性内存事务系统的日志管理方法

说明书

本发明涉及持久性内存存储技术领域，特别涉及一种分布式持久性内存事务系统的日志管理方法，包括主副本节点、从副本节点和协调者线程，主副本节点和从副本节点为集群中的每个协调者线程分配独立的持久性日志区；主副本节点和从副本节点向协调者线程提供写日志接口；主副本节点和从副本节点调用CPU持久化指令，并通过原子地更新日志区元数据；主副本节点执行持久性日志区的内容，并回收垃圾日志项；从副本节点通过独立的后台线程组并行地回放不同协调者线程的持久性日志区的内容，并回收垃圾日志项。该分布式持久性内存事务系统的日志管理方法，能够同时提供高效的写日志性能、多核可扩展能力以及崩溃后恢复能力。

技术领域

本发明涉及持久性内存存储技术领域，特别涉及一种分布式持久性内存事务系统的日志管理方法。

背景技术

持久性内存(Persistent Memory，PM)是一类新型存储器件，它支持直接使用CPU的load(载入)和store(存储)指令对其进行字节粒度的读写。常见的持久性内存器件包括阻变存储器(Resistive RAM，RRAM)、相变存储器(Phase Change Memory，PCM)和自旋矩存储器(Spin-Torque Transfer RAM，STT-RAM)等。Intel公司也在2019年发布了第一代英特尔傲腾数据中心持久性内存(Intel Optane DC Persistent Memory)。持久性内存具有极高的读写带宽和极低的读写延迟，为构建新型的存储系统带来了机遇。但同时，持久性内存具有读写性能不对称，寿命低等问题。持久性内存改变了传统存储系统易失和非易失的边界，由于CPU缓存是易失的且逐出顺序无法控制，编程者要显式地调用CPU持久化指令(如CLFLUSH、CFLUSHOPT和CLWB)强制将数据从CPU缓存刷写至持久性内存中。

远程直接数据存取(Remote Direct Memory Access，RDMA)是一种新型网络技术，支持100Gbps及以上的带宽，同时延迟在微秒级别。和传统的TCP/IP网络协议栈相比，RDMA的数据传输过程中完全无需内核参与，减少了数据的拷贝，同时对协议的处理大部分被卸载到网卡硬件上。RDMA的内存原语，包括WRITE、READ和原子操作，内存原语能够绕过远程CPU，可用于构建新型的内存存储系统。此外，RDMA还提供了WRITE-WITH-IMM原语，它能够将数据直写到远程机器，同时携带32bit的一个立即数去通知远程CPU。

日志系统(Logging System)通过写日志的方法去保证系统的崩溃一致性和操作的原子性。日志系统分为数据日志和操作日志两大类。其中数据日志分为redo(重做)日志和undo(撤销)日志两种，数据日志的优点是能保证操作的幂等性。操作日志只记录操作的类型和参数，能减少日志项的大小。

现有的分布式内存事务系统的日志系统主要存在两个问题。第一，未充分发挥现有的新型硬件的特点：持久性内存的持久化开销大，需要频繁地调用CPU持久化指令；使用RDMA的时候带来了多次不必要的数据拷贝开销。第二，多核扩展性差，这体现在两方面：首先，多个协调者线程向主副本节点和从副本节点写日志时需要协调，请求被串行化；其次，在从副本节点执行日志内容时，由于要保证日志回放的正确顺序，难以并行执行。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种分布式持久性内存事务系统的日志管理方法，能够同时提供高效的写日志性能、多核可扩展能力以及崩溃后恢复能力。

为达此目的，本发明实施例提出了一种分布式持久性内存事务系统的日志管理方法，所述分布式持久性内存事务系统包括主副本节点、从副本节点和协调者线程，所述主副本节点和所述从副本节点为集群中的每个协调者线程分配独立的持久性日志区；

所述主副本节点和所述从副本节点向所述协调者线程提供写日志接口，所述协调者线程通过RDMA原语将日志项写到所述主副本节点和所述从副本节点对应的持久性日志区，并通知所述主副本节点和所述从副本节点；