[发明专利]一种面向网络编码集群系统的数据更新方法

说明书

技术领域

本发明涉及集群系统技术领域，具体涉及一种面向网络编码集群系统的数据更新方法。

背景技术

随着互联网技术的迅猛发展，互联网用户每天都在产生大量的数据。数据的大规模增长给集群系统带来的不仅仅是存储上的压力还有对数据可靠性的保障。在集群系统中，节点失效是很常见的，如果不对数据实施保护措施，则很容易造成数据丢失。作为一种替代的计算方案，网络编码被应用到集群系统中，通过网络连接不同的节点为存储数据提供一个可靠平台。但是网络编码的更新机制却给集群系统带来了消耗的计算和带宽开销。现有的优化方法包括增加日志设备和增加缓存两种方法。增加日志设备能减少校验块写的次数但是需要额外的日志设备而且会影响系统的读性能；而传统的增加缓存方法所进行的延迟写在网络编码集群系统中容易影响失效节点修复增加数据丢失风险。因此，亟待需要一种既能保障网络编码集群系统节点修复效率，又能减少更新时带宽消耗，提高更新速度的方法。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种面向网络编码集群系统的数据更新方法，其能够有效减少集群系统更新数据时的带宽消耗，并提高集群系统更新速度，同时减少集群系统数据丢失风险，从而提高集群系统性能。

本发明的目的可以通过采取如下技术方案达到：

一种面向网络编码集群系统的数据更新方法，所述数据更新方法包括下列步骤：

S1、初始化缓存区域，在计算节点中，为更新数据块和更新校验块分别设置数据区域和校验区域作为缓存区域，其中，所述数据区域用于缓存更新数据块，所述校验区域用于缓存更新校验块；

S2、读取数据块和校验块信息；

S3、计算更新数据块前后差异，计算节点读取将被更新数据块的内容与新的内容进行异或运算，得到数据块更新前后的差异结果；

S4、计算更新校验块，在校验区域中查找与所述更新数据块同一个条带的所有校验块，若有则从校验区域中读取校验块的信息，若无，则通过网络从对应节点上读取校验块的信息，将数据块更新前后差异乘上编码系数，并将该结果与读取到的校验块进行异或运算，得到所有更新校验块；

S5、更新数据块和更新校验块的存储，将更新数据块的信息存储到数据区域中，将所有更新校验块的信息存储到校验区域中；

S6、缓存替换，判断缓存区域是否到达一定阀值时，若到达阀值，对于数据区域进行更新；对于校验区域进行更新，同时找出与更新校验块同一个条带的其他校验块一并删除；

S7、将更新数据块和所有更新校验块通过网络写到对应存储节点上。

进一步地，所述步骤S5、更新数据块和更新校验块的存储具体如下：

在计算节点的缓存区域中查找有没有该数据块和校验块的信息，若有，则先将缓存区域中的已有信息删除，并将更新信息插入缓存队列首，若无，则将更新信息直接插入缓存队列首。

进一步地，所述步骤S2、读取数据块和校验块信息具体如下：

进行更新操作时，先在计算节点缓存区域中查找是否有该数据块的信息与相关校验块信息，若有，则从缓存区域中读取信息，若无，则通过网络从对应节点上读取信息。

进一步地，所述步骤S6、缓存替换中，判断缓存区域是否到达一定阀值时，若到达阀值，对于数据区域使用近期最少使用缓存替换策略更新数据区域；对于校验区域，使用近期最少使用缓存替换策略更新校验区域。

本发明相对于现有技术具有如下的优点及效果：

(1)、本发明提出了一种面向网络编码集群系统的数据更新方法，有效减少了由数据更新所带来的数据块传输量，减少了由数据更新带来的带宽消耗。

(2)、本发明通过利用网络编码的线性特性，减少在计算更新校验块时到存储节点上的读操作，减少更新时间，进一步提高了集群系统的更新性能。

(3)、本发明每更新一个数据块就将数据块和校验块写到对应存储节点，从而使节点失效时能更快的从存活节点读取数据，减少失效节点修复时间，减少数据丢失风险。

附图说明

图1是本发明公开的一种面向网络编码集群系统的数据更新方法的步骤流程图；

图2是本发明公开的一种面向网络编码集群系统的数据更新方法的工作示意图。

具体实施方式