[发明专利]一种自适应冗余级别的数据存储方法有效
申请号: | 202210046927.3 | 申请日: | 2022-01-17 |
公开(公告)号: | CN114416437B | 公开(公告)日: | 2022-11-25 |
发明(设计)人: | 李浩天;江寒;杨海波;郝增 | 申请(专利权)人: | 杭州字节方舟科技有限公司 |
主分类号: | G06F11/20 | 分类号: | G06F11/20;G06F11/10 |
代理公司: | 北京维正专利代理有限公司 11508 | 代理人: | 刘美莲 |
地址: | 311100 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 自适应 冗余 级别 数据 存储 方法 | ||
本申请涉及纠删码相关领域,公开了一种自适应冗余级别的数据存储方法,包括:获取对磁盘系统中K+M个磁盘的状态的检测结果;基于所述检测结果,若所述K+M个磁盘中存在损坏的磁盘,则获取K+M个磁盘中的磁盘未损坏数量;若检测到当前磁盘未损坏数量X不少于K+a,aM,且a为大于1的自然数,则无需调整所述磁盘系统的冗余级别;若检测到当前磁盘未损坏数量X少于K+a,则需要对所述磁盘系统的冗余级别进行调整。本申请具有超过M个磁盘发生故障后,能检查磁盘的故障情况,来调整合适的冗余比例,使数据完整性更可靠的效果。
技术领域
本发明涉及纠删码相关领域,尤其是涉及一种自适应冗余级别的数据存储方法。
背景技术
纠删码(erasure coding,EC)是一种数据保护方法,它将数据分割成片段,把冗余数据块扩展、编码,并将其存储在不同的位置,比如磁盘、存储节点或者其它地理位置。纠删码会创建一个数学函数来描述一组数字,这样就可以检查它们的准确性,而且一旦其中一个数字丢失,还可以恢复。多项式插值(polynomial interpolation)或过采样(oversampling)就是纠删码所使用的关键技术。从数据函数角度来说,纠删码提供的保护可以用下面这个简单的公式来表示:n= k+m。变量“k”代表原始数据或符号的值。变量“m”代表故障后添加的提供保护的额外或冗余符号的值。变量“n”代表纠删码过程后创建的符号的总值。纠删码可以用于有大量数据和任何需要容错的应用程序或系统中,比如磁盘阵列系统、数据网格、分布式存储应用程序、对象存储或归档存储。纠删码的一个常见的使用案例是基于对象的云存储。
基于EC码的存储系统的冗余级别表示了磁盘系统的容错能力。例如冗余级别K+M表示的是数据将被存储在K+M个磁盘上,这样就能够容忍M个磁盘发生故障。当不超过M个磁盘发生故障时,只需要任意选取K个正常的磁盘上存储的数据块就能够计算得到所有的原始数据。当超过M个磁盘发生故障时,则已经存储在磁盘上的数据块将不再能够计算得到原始数据,从而发生数据损坏丢失。然而,传统的基于EC码的磁盘系统的冗余级别通常是固定的,一旦设置就不会再更改。
针对上述相关技术,发明人认为当K+M个磁盘中,当出现一定数量的故障磁盘时,需要及时对磁盘的冗余级别进行调整,来使数据完整性更可靠,但是如何对磁盘的冗余级别进行调整成为一种难题。
发明内容
为了当出现一定数量的故障磁盘时,能够及时对磁盘的冗余级别进行调整,来使数据完整性更可靠,本申请提供一种自适应冗余级别的数据存储方法。
本申请提供的一种自适应冗余级别的数据存储方法,采用如下的技术方案:
一种自适应冗余级别的数据存储方法,包括:
获取对磁盘系统中K+M个磁盘的状态的检测结果;
基于所述检测结果,若所述K+M个磁盘中存在损坏的磁盘,则获取K+M个磁盘中的磁盘未损坏数量;
若检测到当前磁盘未损坏数量X不少于K+a,aM,且a为大于1的自然数,则无需调整所述磁盘系统的冗余级别;若检测到当前磁盘未损坏数量X少于K+a,则需要对所述磁盘系统的冗余级别进行调整。
通过采用上述技术方案,由于磁盘系统中会存在损坏的磁盘,磁盘的损坏数量也会影响,因此需要检测磁盘系统中是否存在损坏的磁盘,当存在损坏的磁盘时,判断磁盘损坏数量,根据磁盘损坏数量决定需要调整冗余级别,从而检查当前磁盘的故障情况,来调整合适的冗余比例,使之前存储的数据不至于丢失,具有更可靠的数据完整性。
可选的,所述若检测到当前磁盘未损坏数量X少于K+a,则需要对所述磁盘系统的冗余级别进行调整的步骤包括:
若检测到当前磁盘未损坏数量X少于K+a;
则将所述磁盘系统的冗余级别调整为(X-a)+a。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州字节方舟科技有限公司,未经杭州字节方舟科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210046927.3/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种电脑键盘喷涂工艺
- 下一篇:一种基于浮式稳桩平台的钢管桩施工系统及工艺
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置