[发明专利]一种面向NVMe和RDMA的分布式存储系统及轻量级同步通信方法

说明书

本发明公开了一种面向NVMe和RDMA的分布式存储系统及轻量级同步通信方法，旨在充分发挥NVMe和RDMA设备高效地存取和通信性能。本发明解决了新型硬件环境下传统分布式存储系统软件开销过大的问题，其技术方案可概括为：提出了一种定制化的分布式系统架构，一个通用的、多功能的底层存储系统解决方案；轻量级的存储和网络软件堆栈；将NVMe协议中混合使用的I/O队列对完全隔离，划分专用于写入、专用于读取及共享读取和写入的队列；实现了异步和同步的I/O轮询模型；基于数据通信场景混合双边和单边模型；在传统的Raft协议基础上，引入了一个学习的阶段。本发明充分利用硬件特性，提高了数据存取和传输的效率，适用于任意支持NVMe和RDMA的硬件设备。

技术领域

本发明属于软件开发技术领域，尤其涉及一种面向NVMe和RDMA的分布式存储系统及轻量级同步通信方法。

背景技术

在过去的近十年里，随着新型存储和高速网络技术的飞速发展，硬件已经取得了显著的进步，进而使得设备的访问延迟，得到了显著地降低。在存储方面，由于新型非易失存储协议（NVMe）的浮现，使得固态盘的存取时延可低至十微秒，带宽可高达五十五万IOPS，并且，面向数据中心的非易失性内存系列产品的性能已经可以与DRAM 相媲美，例如，英特尔傲腾技术。在网络方面，传统高性能领域所采用的高速远程内存直接访问（RDMA）技术，逐渐开始在数据中心普及，这也使不同节点间一次数据传输的往返时延可以小于五微秒。

对于大规模数据处理应用来说，虽然新型的硬件技术已经足够快了，但是直接将传统的软件堆栈部署在新型的硬件设备上，很难充分地利用硬件技术进步带来的全部红利。这是因为，在整个软件堆栈中，随着硬件开销的不断降低，软件开销所占的比例随之变大，已经到了不可被忽视程度。因此，系统需要降低非必要的软件开销，从而进一步地释放新型硬件的潜在性能。在数据处理应用中，为了降低不必要的软件开销，整个计算机系统应该与特定的应用场景相结合，需要更多的定制化设计策略，促进上层的应用程序与更低级别的系统集成设计，进一步探索计算机系统的潜在性能。

综上所述，随着计算硬件技术的不断发展，整个系统的性能得到了很大的改进，但是，在整个软件设计，传统的软件堆栈已经成为新的系统瓶颈，需要与具体应用相结合，更加定制化，才能释放出硬件技术进步带来的全部红利。

发明内容

本发明结合NVMe和RDMA设备的硬件特性，实现了一种轻量级的、定制化的分布式存储系统，目的是缓解基于新型硬件的分布式系统中分层设计导致硬件性能发挥受限问题。

实现本发明目的的具体技术方案是：

一种面向NVMe和RDMA的分布式存储系统，特点是所述系统包括服务节点（SERVER）和监控节点（MONITOR）；所述服务节点直接对客户端提供存储服务，每一个服务节点均由代理（AGENT）服务和存储（KEEPER）服务组成，代理服务路由关系表存储位置，存储服务持久化关系表中的数据；所述监控节点增加、修改、删除服务器位置和运行状态及关系表和代理服务之间的映射关系；监控节点管理根表、服务器列表集群元数据，服务节点管理数据元数据；在传统的Raft协议基础上，引入了一个学习的阶段，主动地向其他节点拉取已确认提交的日志。

一种面向NVMe和RDMA的轻量级同步通信方法，特点是所述方法包括轻量级的I /O 软件堆栈、面向NVMe的表格存储机制、异步和同步的I /O 轮询模型以及基于RDMA 的数据通信同步策略；

所述轻量级的I / O 软件堆栈，由存储和网络两个软件栈组成，存储软件栈基于英特尔SPDK驱动模块，在用户态中，直接将关系表中数据以逐行方式，持久化到NVMe设备的逻辑块中，网络软件栈，基于RDMA提供的verbs接口，在用户态中，基于通信场景，混合使用单边和双边模型；