[发明专利]基于RDMA与非易失内存的分布式文件数据块读写方法及系统

说明书

本发明提供了一种基于RDMA与非易失内存的分布式文件数据块读写方法及系统，包括：步骤M1：管理层节点对服务层节点数据存储空间所组成的共享内存池进行统一编址与管理；步骤M2：在客户端节点、管理节点及服务节点间建立RDMA连接后，响应客户端读写请求，管理节点间维持元数据一致性；步骤M3：分布式文件数据分块并发读、分布式文件数据分块并发写，服务节点响应客户端请求，将海量数据按块粒度进行切分，客户端节点在备份组平行服务节点间进行单边并发分块读与单边并发分块写操作。本发明能够在分布式系统中为客户端提供高效数据读写服务，本发明能够避免写操作对读操作的阻塞。

技术领域

本发明涉及计算机分布式文件系统领域，具体地，涉及一种基于RDMA与非易失内存的分布式文件数据块读写方法及系统。

背景技术

在大数据时代背景下对分布式系统的可靠性和I/O性能提出了更高的要求，需要保证数据的可靠存储性并且支持数据的快速读写传输，随着数据量的增大，读写大数据块的应用场景也在不断增加。当前新一代内存技术持久内存拥有高密度存储，数据持久化，细粒度寻址等特点，在分布式环境中结合RDMA新型内存访问技术，可以高效的在节点间进行数据传输，其传输特点决定其对小块数据的传输延迟比大块数据高，如何有效的减少传输延迟，降低系统瓶颈节点的压力。

远程直接内存访问(Remote Direct Memory Access，RDMA)是一种新型内存访问技术，使计一个节点可以直接存取其他节点的内存，而不需要经过远端节点处理器的处理。降低完成相同读写操作在集群中的吐量总量，提升系统性能。另外RDMA单次传输小粒度数据的效率优于单次传输大数据量的效率。

在RDMA中有四种基础的操作类型：

RDMA发送：ib_post_send()，向远端节点发送信息，远端节点需有RDMA接受操作，发送信息才会被接受。

RDMA接收：ib_post_recv()，接收远端节点发来的信息，远端节点需有RDMA发送操作，接受请求才会接受到信息。

RDMA读取：ib_post_read()，单边操作，在已知读取地址及rkey信息后可主动读取，不需要远端CPU的参与。

RDMA写入：ib_post_write()，单边操作，在已知远端写入地址及rkey信息后可主动将本地信息写到远端节点，无需要远端CPU参与。

单边操作只需要本端节点明确信息的源和目的地址，远端不必感知此次通信。RDMA单边读延迟低于RDMA单边写延迟。

非易失性内存：拥有数据持久化、纳秒级访问延迟、字节寻址等传统优点，同时又具有读写性能不对称性、有限耐久性等特点。基于非易失内存的文件系统能以接近于DRAM(动态随机存取存储器)内存的速度提供数据的持久存储和访问，这大幅提升了对文件数据实时处理的性能。STTRAM，PCM，RRAM以及3D Xpoint都属于非易失内存，非易失内存写耗费时间大概是其读耗费时间的4到10倍。

平衡多路查找树(Balance-tree,B-树)，为计算机学科中存储结构，左子树与右子树的阶数差不大于1，父节点可有多个子节点。使用B-tree结构可以显著减少索引数据时所经历的中间过程，从而加快存取速度。

专利文献CN109977079A公开了种基于分布式文件系统的数据处理方法及装置，通过对分布式文件系统的读写方法进行优化，在客户端调用文件创建系统类的创建命令，调用写命令进行写文件操作，得到文件；文件系统输出数据流向主节点申请数据块，返回一个本地数据块对象；根据返回的所述本地数据块对象，与相应的数据节点进行通信，建立数据流，将所述客户端的文件内容切割成一个一个块，写入到所述数据流中；获得数据节点返回的写入成功信息后，向所述客户端返回写文件成功信息。该专利在对同一数据块的读写操作同时进行，避免写操作对读操作的阻塞上仍然有待提升的空间。

发明内容