[发明专利]一种自适应冗余级别的数据存储方法有效

专利信息
申请号: 202210046927.3 申请日: 2022-01-17
公开(公告)号: CN114416437B 公开(公告)日: 2022-11-25
发明(设计)人: 李浩天;江寒;杨海波;郝增 申请(专利权)人: 杭州字节方舟科技有限公司
主分类号: G06F11/20 分类号: G06F11/20;G06F11/10
代理公司: 北京维正专利代理有限公司 11508 代理人: 刘美莲
地址: 311100 浙江省杭州市*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 自适应 冗余 级别 数据 存储 方法
【说明书】:

本申请涉及纠删码相关领域,公开了一种自适应冗余级别的数据存储方法,包括:获取对磁盘系统中K+M个磁盘的状态的检测结果;基于所述检测结果,若所述K+M个磁盘中存在损坏的磁盘,则获取K+M个磁盘中的磁盘未损坏数量;若检测到当前磁盘未损坏数量X不少于K+a,aM,且a为大于1的自然数,则无需调整所述磁盘系统的冗余级别;若检测到当前磁盘未损坏数量X少于K+a,则需要对所述磁盘系统的冗余级别进行调整。本申请具有超过M个磁盘发生故障后,能检查磁盘的故障情况,来调整合适的冗余比例,使数据完整性更可靠的效果。

技术领域

发明涉及纠删码相关领域,尤其是涉及一种自适应冗余级别的数据存储方法。

背景技术

纠删码(erasure coding,EC)是一种数据保护方法,它将数据分割成片段,把冗余数据块扩展、编码,并将其存储在不同的位置,比如磁盘、存储节点或者其它地理位置。纠删码会创建一个数学函数来描述一组数字,这样就可以检查它们的准确性,而且一旦其中一个数字丢失,还可以恢复。多项式插值(polynomial interpolation)或过采样(oversampling)就是纠删码所使用的关键技术。从数据函数角度来说,纠删码提供的保护可以用下面这个简单的公式来表示:n= k+m。变量“k”代表原始数据或符号的值。变量“m”代表故障后添加的提供保护的额外或冗余符号的值。变量“n”代表纠删码过程后创建的符号的总值。纠删码可以用于有大量数据和任何需要容错的应用程序或系统中,比如磁盘阵列系统、数据网格、分布式存储应用程序、对象存储或归档存储。纠删码的一个常见的使用案例是基于对象的云存储。

基于EC码的存储系统的冗余级别表示了磁盘系统的容错能力。例如冗余级别K+M表示的是数据将被存储在K+M个磁盘上,这样就能够容忍M个磁盘发生故障。当不超过M个磁盘发生故障时,只需要任意选取K个正常的磁盘上存储的数据块就能够计算得到所有的原始数据。当超过M个磁盘发生故障时,则已经存储在磁盘上的数据块将不再能够计算得到原始数据,从而发生数据损坏丢失。然而,传统的基于EC码的磁盘系统的冗余级别通常是固定的,一旦设置就不会再更改。

针对上述相关技术,发明人认为当K+M个磁盘中,当出现一定数量的故障磁盘时,需要及时对磁盘的冗余级别进行调整,来使数据完整性更可靠,但是如何对磁盘的冗余级别进行调整成为一种难题。

发明内容

为了当出现一定数量的故障磁盘时,能够及时对磁盘的冗余级别进行调整,来使数据完整性更可靠,本申请提供一种自适应冗余级别的数据存储方法。

本申请提供的一种自适应冗余级别的数据存储方法,采用如下的技术方案:

一种自适应冗余级别的数据存储方法,包括:

获取对磁盘系统中K+M个磁盘的状态的检测结果;

基于所述检测结果,若所述K+M个磁盘中存在损坏的磁盘,则获取K+M个磁盘中的磁盘未损坏数量;

若检测到当前磁盘未损坏数量X不少于K+a,aM,且a为大于1的自然数,则无需调整所述磁盘系统的冗余级别;若检测到当前磁盘未损坏数量X少于K+a,则需要对所述磁盘系统的冗余级别进行调整。

通过采用上述技术方案,由于磁盘系统中会存在损坏的磁盘,磁盘的损坏数量也会影响,因此需要检测磁盘系统中是否存在损坏的磁盘,当存在损坏的磁盘时,判断磁盘损坏数量,根据磁盘损坏数量决定需要调整冗余级别,从而检查当前磁盘的故障情况,来调整合适的冗余比例,使之前存储的数据不至于丢失,具有更可靠的数据完整性。

可选的,所述若检测到当前磁盘未损坏数量X少于K+a,则需要对所述磁盘系统的冗余级别进行调整的步骤包括:

若检测到当前磁盘未损坏数量X少于K+a;

则将所述磁盘系统的冗余级别调整为(X-a)+a。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州字节方舟科技有限公司,未经杭州字节方舟科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202210046927.3/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top