[发明专利]基于副本数据日志的纠删码更新方法及系统有效
申请号: | 201910403522.9 | 申请日: | 2019-05-15 |
公开(公告)号: | CN110262922B | 公开(公告)日: | 2021-02-09 |
发明(设计)人: | 魏征;邢晶;高艳珍;孙凝晖 | 申请(专利权)人: | 中国科学院计算技术研究所 |
主分类号: | G06F11/10 | 分类号: | G06F11/10;G06F9/50 |
代理公司: | 北京律诚同业知识产权代理有限公司 11006 | 代理人: | 祁建国;梁挥 |
地址: | 100080 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 副本 数据 日志 纠删码 更新 方法 系统 | ||
1.一种基于副本数据日志的纠删码更新方法,其特征在于,包括:
接收更新数据,将其保存至存储数据块的数据端的副本数据日志,并对该更新数据进行数据块索引和数据位移索引;其中,将存储该副本数据日志的日志空间划分为多个日志单元,并组织为FIFO环形队列;当存储该更新数据时,找到当前未满或者首个为空的日志单元为待填充日志单元,判断该更新数据长度是否能够进行填充,当不能进行填充时,将当前日志单元标识为满,并选择下一个待填充日志单元进行填充;如果该FIFO环形队列中,没有可用的日志单元,查看当前待填充日志单元大小是否小于日志单元长度配额,如果小于,则新增日志单元并追加到该FIFO环形队列尾部,反之等待标识为满的日志单元回收完毕后,再次查找日志单元进行填充;该更新数据填充完毕后,转发到当前副本数据日志对应的两个其他副本数据日志中;
当该副本数据日志满时,根据该数据块索引以数据块为单位并根据该数据位移索引按照该更新数据的位置地址,依次对该更新数据进行回收,以回收的更新数据和其对应的数据块获得校验差值,以该校验差值更新该对应的数据块,并将该校验差值转发至存储校验块的校验端;其中,当回收日志队列发现存在标识为满的日志单元后,按照块遍历日志索引,将每一个数据块按照哈希挂载到不同的回收线程队列上;回收线程在进行数据回收时,先后遍历回收队列,查找是否有跟当前回收数据块一样的数据块,进行覆盖合并;回收任务执行时,在数据块索引内,按照位移区间遍历第二级索引,将相邻的数据组合到一个缓冲区中,一起读取旧数据块,进行校验差值的计算,如果当前组合数据不足1MB,继续合并下一个数据段,直到将若干不相邻的更新区间合并,组成一个大小不超过1MB的超级数据块,转发到对应的校验日志节点;
将该校验差值保存至该校验端的校验日志,对该校验差值进行校验块索引和校验位移索,当该校验日志满时,根据该校验块索引以校验块为单位并根据该校验位移索引按照该校验差值的位置地址,依次对该校验差值进行回收,以回收的校验差值生成校验数据,以该校验数据更新校验块。
2.如权利要求1所述的纠删码更新方法,其特征在于,还包括:
将拟存储数据保存为元数据端的元数据,在客户端将该拟存储数据分为K个数据块D,并通过纠删码编码公式生成M个校验块P,将K个数据块D分别保存至K个该数据端,并将M个该校验块P分别保存至M个该校验端;其中K、M为正整数。
3.如权利要求2所述的纠删码更新方法,其特征在于,通过该校验数据更新校验块的过程包括:
通过校验块更新公式对该校验块P进行更新;其中P0为更新前的校验块,Pn为进行n次数据块数据更新后的校验块,为纠删码编码公式的柯西矩阵元素,ΔD为该校验数据,n为正整数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院计算技术研究所,未经中国科学院计算技术研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910403522.9/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置