[发明专利]一种分布式持久性内存事务系统的日志管理方法有效
| 申请号: | 202010177582.6 | 申请日: | 2020-03-13 |
| 公开(公告)号: | CN111400268B | 公开(公告)日: | 2022-06-17 |
| 发明(设计)人: | 舒继武;汪庆;陆游游;陈游旻 | 申请(专利权)人: | 清华大学 |
| 主分类号: | G06F16/18 | 分类号: | G06F16/18;G06F16/182;G06F16/178 |
| 代理公司: | 深圳市韦恩肯知识产权代理有限公司 44375 | 代理人: | 李华双 |
| 地址: | 100084 北京市海*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 分布式 持久性 内存 事务 系统 日志 管理 方法 | ||
1.一种分布式持久性内存事务系统的日志管理方法,所述分布式持久性内存事务系统包括主副本节点、从副本节点和协调者线程,其特征在于,所述主副本节点和所述从副本节点为集群中的每个协调者线程分配独立的持久性日志区;
所述主副本节点和所述从副本节点向所述协调者线程提供写日志接口,所述协调者线程通过RDMA原语将日志项写到所述主副本节点和所述从副本节点对应的持久性日志区,并通知所述主副本节点和所述从副本节点;
所述主副本节点和从副本节点调用CPU持久化指令以保证日志项的持久性,并通过原子地更新日志区元数据以保证崩溃一致性;
所述主副本节点执行所述持久性日志区的内容,并回收垃圾日志项;所述从副本节点通过独立的后台线程组并行地回放不同协调者线程的所述持久性日志区的内容,并回收垃圾日志项;
所述协调者线程写日志区的操作包括远程日志区地址定位阶段和日志项直写并通知阶段,其中:
所述远程日志区地址定位阶段包括,所述协调者线程根据目的主副本节点和从副本节点的全局唯一实例编号定位到缓存在本地的对应日志区的头尾指针值,若空闲空间小于或等于写日志区操作所需空间,所述协调者线程通过远程过程调用,命令主副本节点和从副本节点回收日志区;
所述日志项直写并通知阶段包括,所述协调者线程通过RDMA的WRITE-WITH-IMM原语,将存在本地的日志项写到尾指针值对应的远程日志区,并携带立即数,所述协调者线程更新本地缓存的日志区尾指针的值;其中,所述立即数中存有日志项的地址信息;
所述主副本节点和所述从副本节点持久化日志项的操作包括:日志项区域定位阶段,持久化日志项阶段和日志区元数据更新阶段:
所述日志项区域定位阶段包括:所述主副本节点和所述从副本节点接收到所述协调者线程发送的立即数,根据所述立即数的值确定对应的持久性日志区,并确定新日志项的地址范围;
所述持久化日志项阶段包括:所述主副本节点和所述从副本节点调用CPU持久化指令,将持久性日志区的内容从CPU缓存中刷写至持久性内存;
所述日志区元数据更新阶段包括:所述主副本节点和所述从副本节点通过原子写指令更新日志区尾指针的值,并调用CPU持久化指令持久化所述尾指针的值,以保证崩溃一致性。
2.根据权利要求1所述的一种分布式持久性内存事务系统的日志管理方法,其特征在于,所述主副本节点和所述从副本节点均允许若干个实例同时存在,所述主副本节点和所述从副本节点存储全局唯一的实例编号。
3.根据权利要求1所述的一种分布式持久性内存事务系统的日志管理方法,其特征在于,所述持久性日志区位于持久性内存中,所述持久性日志区为连续地址空间上的环形队列,支持变长的日志项,同时通过持久性头指针和尾指针以保证日志项增删的原子性。
4.根据权利要求1所述的一种分布式持久性内存事务系统的日志管理方法,其特征在于,所述日志管理方法还包括:
所述主副本节点和所述从副本节点使用本地分配器在持久性内存上为每个协调者线程分配持久性日志区和对应的持久性头指针和尾指针;
所述主副本节点和所述从副本节点将所有持久性日志区对应的头尾指针初始化为日志区首地址并持久化;
所述主副本节点和所述从副本节点将所有持久性日志区的头尾指针的值通过远程过程调用发送给相应的协调者线程,以便所述协调者线程将接收到的所述值缓存到本地。
5.根据权利要求1所述的一种分布式持久性内存事务系统的日志管理方法,其特征在于,所述日志项包括若干个写集子项,每个所述写集子项包括版本号、数据地址、数据长度以及数据内容。
6.根据权利要求1所述的一种分布式持久性内存事务系统的日志管理方法,其特征在于,所述主副本节点执行持久性日志区的内容之后,释放持有的锁;所述主副本节点批处理地更新并持久化日志区的头指针,以减少持久化开销。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010177582.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:信息处理方法及电子设备
- 下一篇:一种谷物变温干燥的方法





