[发明专利]数据分布存储方法及相关装置有效
申请号: | 201910239344.0 | 申请日: | 2019-03-27 |
公开(公告)号: | CN109992206B | 公开(公告)日: | 2022-05-10 |
发明(设计)人: | 张天洁 | 申请(专利权)人: | 新华三技术有限公司成都分公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京超成律师事务所 11646 | 代理人: | 刘静 |
地址: | 610000 四川省成都市高新区中国(四川)*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 分布 存储 方法 相关 装置 | ||
1.一种数据分布存储方法,其特征在于,应用于分布式存储系统中的存储节点,所述存储节点包括多个对象存储设备OSD,所述分布式存储系统存在数据管理组DMG列表,所述DMG列表包含M个DMG,所述M个DMG划分为K个DMG集合,每个DMG集合包含N个DMG;任意两个所述DMG集合中具有关联关系的DMG互为备份;K个DMG集合依次排列,且每个DMG集合中的所述N个DMG的排列顺序一致;所述方法包括:
获取所述分布式存储系统的第一拓扑结构,其中,所述第一拓扑结构包括叶子层和第一中间层,每个所述OSD为一个叶子节点,至少一个所述叶子节点构成叶子层,所述第一中间层包括多个第一中间节点,每个所述第一中间节点均有至少一个叶子节点归属于对应的第一中间节点;
根据归属于同一所述第一中间节点的所述OSD的权重,确定每个所述第一中间节点的权重,其中,所述OSD的权重与所述OSD的容量大小成正比;
依据所述每个所述第一中间节点的权重及归属于同一所述第一中间节点的所述OSD的权重确定对应的每个所述OSD的分配比例;
根据所述分配比例依次为每个所述OSD分配DMG,每个所述OSD上的DMG个数与每个所述OSD的权重匹配,且所有OSD上的DMG个数之和等于M;
所述根据所述分配比例为每个所述OSD分配DMG的步骤包括:
依据多个所述第一中间节点的权重确定每个所述第一中间节点的分配比例;
根据每个所述第一中间节点的分配比例及所述M个DMG确定每个所述第一中间节点待分配的DMG数量X;
按照每个所述第一中间节点待分配的DMG数量X依次从所述DMG列表中确定X个DMG;
根据每个所述第一中间节点待分配的DMG数量X及归属于所述第一中间节点的OSD的分配比例确定对应的每个所述OSD的待分配的DMG数量Y;
按照每个所述OSD待分配的DMG数量Y依次将所述DMG列表中的X个DMG中的Y个DMG分配至对应的每个所述OSD。
2.如权利要求1所述的数据分布存储方法,其特征在于,所述第一拓扑结构还包括第二中间层,其中,所述第二中间层包括多个第二中间节点,每一所述第二中间节点包括至少一个所述第一中间节点;
所述根据所述分配比例为每个所述OSD分配DMG的步骤包括:
根据归属于同一所述第二中间节点的所述第一中间节点的权重,确定每个所述第二中间节点的权重;
依据多个所述第二中间节点的权重确定每个所述第二中间节点的分配比例;
根据每个所述第二中间节点的分配比例及M个DMG确定每个所述第二中间节点待分配的DMG数量H;
按照每个所述第二中间节点待分配的DMG数量H依次从所述DMG列表中确定H个DMG;
依据每一个所述第二中间节点的权重及归属于同一所述第二中间节点的所述第一中间节点的权重确定每个所述第一中间节点的分配比例;
根据每个所述第一中间节点的分配比例及H个DMG确定每个所述第一中间节点待分配的DMG数量I;
根据每个所述第一中间节点待分配的DMG数量I及归属于所述第一中间节点的所述OSD的分配比例确定对应的每个所述OSD的待分配的DMG数量J;
按照每个所述OSD待分配的DMG数量J依次将所述DMG列表中的I个DMG中的J个DMG分配至对应的每个所述OSD。
3.如权利要求1所述的数据分布存储方法,其特征在于,所述方法还包括:
当任一所述OSD变为不可用时,获取更新后的第二拓扑结构,其中,所述第二拓扑结构为将所述第一拓扑结构中不可用的OSD移除后得到;
获取所述不可用的OSD的DMG;
依据所述第二拓扑结构及每个可用的所述OSD的权重对所述不可用的OSD的DMG进行重新分配。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华三技术有限公司成都分公司,未经新华三技术有限公司成都分公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910239344.0/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置