[发明专利]分布式存储系统及其存储节点离线处理方法有效
申请号: | 202210528182.4 | 申请日: | 2022-05-16 |
公开(公告)号: | CN114625325B | 公开(公告)日: | 2022-09-23 |
发明(设计)人: | 李舒 | 申请(专利权)人: | 阿里云计算有限公司;阿里巴巴(中国)有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F11/07 |
代理公司: | 北京展翼知识产权代理事务所(特殊普通合伙) 11452 | 代理人: | 屠长存 |
地址: | 310024 浙江省*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 存储系统 及其 存储 节点 离线 处理 方法 | ||
1.一种分布式存储系统的存储节点离线处理方法,所述分布式存储系统包括多个存储节点,存储节点的存储模块上存储数据副本,每份数据具有预定数量个相同的数据副本,并且所述预定数量个相同的数据副本分别存储在所述预定数量个处于存活状态的不同存储节点的存储模块上,该方法包括:
维护在线存储节点的存储模块的存活状态记录;
保存所述分布式存储系统所存储数据的元数据,所述元数据包括该数据的所述预定数量个数据副本分别在所述分布式存储系统中的存储位置信息;
响应于原本处于存活状态的存储模块的存活状态记录改变为不再存活,删除所述元数据中处于不再存活状态的存储模块中的数据副本的存储位置信息,并基于所述元数据,在其它存储节点的存活存储模块上重建所述不再存活的存储模块上存储的数据副本,以确保处于存活状态的存储模块上的数据副本数量保持为所述预定数量;
响应于存储节点离线,保持为该存储节点的存储模块维护的存活状态记录为存活,而禁止对该存储节点进行读操作和写操作;
响应于来自客户端的读请求和/或写请求,基于所述元数据,分配指向从除离线存储节点之外的其它存储节点中选择的存储节点的路径来执行相应的读操作和/或写操作;
响应于离线存储节点恢复在线,基于所述元数据判断恢复在线的存储节点的存储模块是否有需要修复的数据副本;
在有需要修复的数据副本的情况下,基于所述元数据,使用其它存储节点的存储模块存储的数据副本修复所述需要修复的数据副本;
在没有需要修复的数据副本的情况下,允许对所述恢复在线的存储节点进行读操作和写操作;
在所述恢复在线的存储节点的多个存储模块中的部分存储模块有需要修复的数据副本的情况下,允许对该存储节点上其它存储模块进行读操作和写操作,并在所述部分存储模块上的数据副本修复完成后允许对所述部分存储模块进行读操作和写操作;以及
在离线存储节点离线时间超过预定时间阈值的情况下,将为所述离线存储节点的存储模块维护的存活状态记录修改为不再存活。
2.根据权利要求1所述的方法,基于所述元数据判断恢复在线的存储节点的存储模块是否有需要修复的数据副本的步骤包括:
判断所述恢复在线的存储节点的存储模块上存储的数据副本是否部分或全部丢失,其中丢失的数据副本为需要修复的数据副本;以及/或者
判断所述恢复在线的存储节点的存储模块上存储的数据副本与其它存储节点上存储的对应于相同数据的数据副本是否一致,其中不一致的数据副本为需要修复的数据副本。
3.根据权利要求1所述的方法,在离线存储节点离线时间超过预定时间阈值的情况下,该方法还包括:
在分布式存储系统中部署新存储节点,并且
所述在其它存储节点的存活存储模块上重建所述不再存活的存储模块上存储的数据副本的步骤包括:基于所述元数据,在所述新存储节点的存储模块上重建所述离线存储节点的存储模块上存储的数据副本。
4.根据权利要求3所述的方法,该方法还包括:
保留所述元数据中处于存活状态的存储模块中的数据副本的存储位置信息。
5.根据权利要求1所述的方法,其中,所述响应于来自客户端的读请求和/或写请求、基于所述元数据、分配指向从除离线存储节点之外的其它存储节点中选择的存储节点的路径来执行相应的读操作和/或写操作的步骤包括:
响应于读请求,基于所述元数据,判断离线存储节点的存储模块上是否存储有所请求数据的数据副本;
在离线存储节点的存储模块上存储有所请求数据的数据副本的情况下,从存储所请求数据的m个数据副本中的剩余m-1个数据副本的m-1个存储节点中选择一个存储节点,其中m为所请求数据的数据副本的个数,且m≥2;以及
分配指向所选择存储节点的存储模块的路径来执行所述读操作。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里云计算有限公司;阿里巴巴(中国)有限公司,未经阿里云计算有限公司;阿里巴巴(中国)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210528182.4/1.html,转载请声明来源钻瓜专利网。