[发明专利]基于RDMA与非易失内存的分布式文件数据块读写方法及系统有效
申请号: | 201911348068.8 | 申请日: | 2019-12-24 |
公开(公告)号: | CN111125049B | 公开(公告)日: | 2023-06-23 |
发明(设计)人: | 郑圣安;黄林鹏;沈艳艳;陈雨亭;舒继武;王晶钰 | 申请(专利权)人: | 上海交通大学;清华大学 |
主分类号: | G06F16/182 | 分类号: | G06F16/182;G06F16/16;G06F16/13;G06F3/06 |
代理公司: | 上海汉声知识产权代理有限公司 31236 | 代理人: | 胡晶 |
地址: | 200240 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 rdma 非易失 内存 分布式 文件 数据 读写 方法 系统 | ||
1.一种基于RDMA与非易失内存的分布式文件数据块读写方法,其特征在于,包括:
步骤M1:管理层节点对服务层节点数据存储空间所组成的共享内存池进行统一编址与管理;
步骤M2:在客户端节点、管理节点及服务节点间建立RDMA连接后,响应客户端读写请求;
步骤M3:分布式文件数据分块并发读、分布式文件数据分块并发写,服务节点响应客户端请求,将海量数据按块粒度进行切分,客户端节点在备份组平行服务节点间进行单边并发分块读与单边并发分块写操作;
所述步骤M2包括:
步骤M2.1:客户端通过RDMA网络发送读写请求到管理节点;
步骤M2.2:管理层节点利用非易失内存细粒度访问特性执行问询排队机制,申请获取客户端所需操作地址的读/写控制权;
步骤M2.3:进行读操作:根据系统内有无对同一地址空间的写请求操作,进行备份组读保留节点内读操作或备份组平行服务节点内分块并发读操作;
步骤M2.4:进行写操作:客户端节点与备份组平行服务节点间进行并发分块写操作;
步骤M2.4包括:
步骤M2.4.1:客户端节点与管理节点进行RDMA通信,定位写操作地址对应备份组及备份组内读保留节点;
步骤M2.4.2:管理节点将客户端节点的写请求数据地址分块,发送给备份组内除读保留节点外的服务节点;
步骤M2.4.3:备份组内各服务节点按管理节点发送的客户端节点地址信息,从客户端节点内进行分块读操作;
步骤M2.4.4:在备份组服务节内部进行分块数据互换;
步骤M2.4.5:服务节点向管理节点申请更新读保留节点;
步骤M2.4.6:服务节点与原读保留节点利用RDMA进行数据交换,更新读保留节点内数据为最新数据;
步骤M2.4.7:服务节点向客户端节点进行写完成反馈;
所述步骤M2.2包括:
步骤M2.2.1:在每个管理节点内构建一棵B树结构,用于记录系统读写地址;
步骤M2.2.2:B树节点存储权限标识和索引所需信息,包括:操作地址空间粒度、当前地址读/写操作权标识信息以及链表指针,指向等待获得该地址操作权的任务链表;
任务链表的每一个单元中的信息包括以下任一种或者任多种信息:
-申请操作权限的管理节点ID;
-ID节点申请该权限时的节点内时间戳;
-起始地址信息;
-结束地址信息;
-读/写操作标志位和申请状态位;
步骤2.2.3:锁定大于8bit粒度大小的数据,B树中记录正在被操作的任意大小地址。
2.根据权利要求1所述的基于RDMA与非易失内存的分布式文件数据块读写方法,其特征在于,所述步骤M2.3包括:
步骤M2.3.1:预操作地址空间的操作请求链表中仅有读操作请求时,按照分块并发读机制,客户端节点使用分块并发的读方式将数据读回节点;
步骤M2.3.2:预操作地址空间正在被写请求占用时,客户端从备份组中的读保留节点读取数据。
3.根据权利要求1所述的基于RDMA与非易失内存的分布式文件数据块读写方法,其特征在于,步骤M2.1包括:
步骤M2.1.1:管理层各节点维护相同的元数据信息;
步骤M2.1.2:客户端节点从服务层选择任意节点请求提供读写服务操作。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海交通大学;清华大学,未经上海交通大学;清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911348068.8/1.html,转载请声明来源钻瓜专利网。