[发明专利]基于副本数据日志的纠删码更新方法及系统有效

专利信息
申请号: 201910403522.9 申请日: 2019-05-15
公开(公告)号: CN110262922B 公开(公告)日: 2021-02-09
发明(设计)人: 魏征;邢晶;高艳珍;孙凝晖 申请(专利权)人: 中国科学院计算技术研究所
主分类号: G06F11/10 分类号: G06F11/10;G06F9/50
代理公司: 北京律诚同业知识产权代理有限公司 11006 代理人: 祁建国;梁挥
地址: 100080 北*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 基于 副本 数据 日志 纠删码 更新 方法 系统
【权利要求书】:

1.一种基于副本数据日志的纠删码更新方法,其特征在于,包括:

接收更新数据,将其保存至存储数据块的数据端的副本数据日志,并对该更新数据进行数据块索引和数据位移索引;其中,将存储该副本数据日志的日志空间划分为多个日志单元,并组织为FIFO环形队列;当存储该更新数据时,找到当前未满或者首个为空的日志单元为待填充日志单元,判断该更新数据长度是否能够进行填充,当不能进行填充时,将当前日志单元标识为满,并选择下一个待填充日志单元进行填充;如果该FIFO环形队列中,没有可用的日志单元,查看当前待填充日志单元大小是否小于日志单元长度配额,如果小于,则新增日志单元并追加到该FIFO环形队列尾部,反之等待标识为满的日志单元回收完毕后,再次查找日志单元进行填充;该更新数据填充完毕后,转发到当前副本数据日志对应的两个其他副本数据日志中;

当该副本数据日志满时,根据该数据块索引以数据块为单位并根据该数据位移索引按照该更新数据的位置地址,依次对该更新数据进行回收,以回收的更新数据和其对应的数据块获得校验差值,以该校验差值更新该对应的数据块,并将该校验差值转发至存储校验块的校验端;其中,当回收日志队列发现存在标识为满的日志单元后,按照块遍历日志索引,将每一个数据块按照哈希挂载到不同的回收线程队列上;回收线程在进行数据回收时,先后遍历回收队列,查找是否有跟当前回收数据块一样的数据块,进行覆盖合并;回收任务执行时,在数据块索引内,按照位移区间遍历第二级索引,将相邻的数据组合到一个缓冲区中,一起读取旧数据块,进行校验差值的计算,如果当前组合数据不足1MB,继续合并下一个数据段,直到将若干不相邻的更新区间合并,组成一个大小不超过1MB的超级数据块,转发到对应的校验日志节点;

将该校验差值保存至该校验端的校验日志,对该校验差值进行校验块索引和校验位移索,当该校验日志满时,根据该校验块索引以校验块为单位并根据该校验位移索引按照该校验差值的位置地址,依次对该校验差值进行回收,以回收的校验差值生成校验数据,以该校验数据更新校验块。

2.如权利要求1所述的纠删码更新方法,其特征在于,还包括:

将拟存储数据保存为元数据端的元数据,在客户端将该拟存储数据分为K个数据块D,并通过纠删码编码公式生成M个校验块P,将K个数据块D分别保存至K个该数据端,并将M个该校验块P分别保存至M个该校验端;其中K、M为正整数。

3.如权利要求2所述的纠删码更新方法,其特征在于,通过该校验数据更新校验块的过程包括:

通过校验块更新公式对该校验块P进行更新;其中P0为更新前的校验块,Pn为进行n次数据块数据更新后的校验块,为纠删码编码公式的柯西矩阵元素,ΔD为该校验数据,n为正整数。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院计算技术研究所,未经中国科学院计算技术研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910403522.9/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top