[发明专利]一种面向网络编码集群系统的数据更新方法

摘要

本发明公开了一种面向网络编码集群系统的数据更新方法。根据当前数据的爆炸性增长为集群系统带来了巨大的挑战，而网络编码的作为一种具有高可靠性和低冗余等优点的数据方案而被引入到集群系统中，但是其数据更新过程的开销却很大，特别是在计算节点与存储节点之间的数据传输带宽开销比较大。本发明利用更新节点的缓存区域，将更新数据块和校验块缓存起来有效利用更新数据局部性，并利用网络编码的线性特性，减少计算校验块时数据的传输量，减少带宽消耗；更新数据进行及时写，从而缩短磁盘失效时的修复时间，减少数据丢失风险。本发明提供的方案能够较好的适应网络编码集群系统数据更新，减少更新过程的带宽消耗，提高数据更新速度。

主权项

一种面向网络编码集群系统的数据更新方法，其特征在于，所述数据更新方法包括下列步骤：S1、初始化缓存区域，在计算节点中，为更新数据块和更新校验块分别设置数据区域和校验区域作为缓存区域，其中，所述数据区域用于缓存更新数据块，所述校验区域用于缓存更新校验块；S2、读取数据块和校验块信息；S3、计算更新数据块前后差异，计算节点读取将被更新数据块的内容与新的内容进行异或运算，得到数据块更新前后的差异结果；S4、计算更新校验块，在校验区域中查找与所述更新数据块同一个条带的所有校验块，若有则从校验区域中读取校验块的信息，若无，则通过网络从对应节点上读取校验块的信息，将数据块更新前后差异乘上编码系数，并将该结果与读取到的校验块进行异或运算，得到所有更新校验块；S5、更新数据块和更新校验块的存储，将更新数据块的信息存储到数据区域中，将所有更新校验块的信息存储到校验区域中；S6、缓存替换，判断缓存区域是否到达一定阀值时，若到达阀值，对于数据区域进行更新；对于校验区域进行更新，同时找出与更新校验块同一个条带的其他校验块一并删除；S7、将更新数据块和所有更新校验块通过网络写到对应存储节点上。