[发明专利]一种基于纠删码的文件追加方法有效
申请号: | 201410331144.5 | 申请日: | 2014-07-13 |
公开(公告)号: | CN104102558B | 公开(公告)日: | 2017-01-25 |
发明(设计)人: | 王意洁;裴晓强;许方亮;符永铨;孙伟东;程力;李小勇;马行空;王媛;赵越;林轩;熊泽宇 | 申请(专利权)人: | 中国人民解放军国防科学技术大学 |
主分类号: | G06F11/14 | 分类号: | G06F11/14 |
代理公司: | 国防科技大学专利服务中心43202 | 代理人: | 郭敏 |
地址: | 410073 湖*** | 国省代码: | 湖南;43 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 纠删码 文件 追加 方法 | ||
1.一种基于纠删码的文件追加方法,其特征在于包括以下步骤:
第一步,构建一个分布存储系统,它由一个控制节点和N个存储节点构成,N为正整数,控制节点和存储节点都是一台可独立运行的计算机,各节点通过网络设备互连;控制节点和存储节点上均安装有操作系统、TCP/IP协议软件,配置了网络环境;控制节点负责与用户交互,安装有数据读写管理程序;存储节点负责存储数据文件的原始数据块和冗余数据块,存储节点上安装有数据读写程序;
第二步,控制节点执行数据读写管理程序,接收用户提交的向数据文件DO追加数据块AD的请求,根据数据文件DO的原始数据块分组情况,从最后一组原始数据块所在的存储节点读取原始数据块,将数据块AD追加到最后一组原始数据块,从最后一组原始数据块对应的冗余数据块所在的存储节点删除冗余数据块;
第三步,控制节点执行数据读写管理程序,利用存储的编码系数对数据文件DO的最后一组k个原始数据块D1~Dk重新进行编码计算,得到追加后的m个冗余数据块C1~Cm;
第四步,控制节点执行数据读写管理程序,将新追加的数据块AD和编码计算得到的m个冗余数据块C1~Cm分别写入不同的存储节点;
第五步,控制节点执行数据读写管理程序,向用户发送数据追加成功信息。
2.如权利要求1所述的基于纠删码的文件追加方法,其特征在于所述第二步具体步骤如下:
2.1控制节点的数据读写管理程序接收用户提交的向数据文件DO追加数据块AD的请求;
2.2控制节点的数据读写管理程序选取数据文件DO的最后一组k个原始数据块D1~Dk,k个原始数据块中包括a个非零原始数据块D1~Da和b个全零数据块Da+1~Dk,0<a≤k,0≤b<k,a+b=k;
2.3如果b>0,转第2.4步;否则,转第2.5步;
2.4控制节点的数据读写管理程序将新追加的数据块AD追加到最后一组原始数据块,并删除原有的冗余数据块,具体步骤如下:
2.4.1控制节点的数据读写管理程序向a个非零原始数据块所在的存储节点获取原始数据块,a个非零原始数据块用D1~Da表示,1≤t≤a,具体步骤如下:
2.4.1.1初始化信息,非零原始数据块序号t=1;
2.4.1.2控制节点的数据读写管理程序向ON[t]发送非零原始数据块Dt的读取请求,ON[t]表示非零原始数据块Dt所在的存储节点;
2.4.1.3存储节点ON[t]的数据读写程序接收来自控制节点的非零原始数据块Dt的读取请求,从本地磁盘读取Dt,并将Dt发送给控制节点;
2.4.1.4控制节点的数据读写管理程序接收ON[t]发送的Dt;
2.4.1.5更新非零原始数据块序号,t=t+1;
2.4.1.6如果t>a,转第2.4.2步;否则,转到第2.4.1.2步;
2.4.2控制节点的数据读写管理程序将最后一组原始数据块的第一个全零数据块替换为新追加的数据块AD,即,Da+1=AD;
2.4.3控制节点的数据读写管理程序向最后一组k个原始数据块D1~Dk的m个冗余数据块C1~Cm所在的存储节点发送冗余数据块删除请求,相关存储节点删除m个冗余数据块C1~Cm,RN[s]表示冗余数据块Cs所在的存储节点,1≤s≤m,具体步骤如下:
2.4.3.1初始化信息,冗余数据块序号s=1;
2.4.3.2控制节点的数据读写管理程序向存储节点RN[s]发送冗余数据块Cs的删除请求;
2.4.3.3存储节点RN[s]的数据读写程序接收来自控制节点的冗余数据块Cs的删除请求,从本地磁盘删除Cs;
2.4.3.4更新冗余数据块序号,s=s+1;
2.4.3.5如果s>m,转第三步;否则,转到第2.4.3.2步;
2.5控制节点的数据读写管理程序将新追加的数据块AD和k-1个全零数据块构成新的原始数据块组,作为数据文件DO的最后一组k个原始数据块D1~Dk,即,D1=AD,D2~Dk均为全零数据块。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国人民解放军国防科学技术大学,未经中国人民解放军国防科学技术大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410331144.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:降低寄存器堆读功耗的电路和方法
- 下一篇:多处理器系统的同步方法及其同步装置