[发明专利]基于副本数据日志的纠删码更新方法及系统

说明书

本发明涉及一种基于副本数据日志的纠删码更新方法，包括：接收更新数据，并将其保存至数据端的副本数据日志；当该副本数据日志满时，以该更新数据和该数据块获得校验差值，以该校验差值更新对应的数据块，并将该校验差值转发至存储校验块的校验端；将该校验差值保存至该校验端的校验日志，当该校验日志满时，通过该校验差值生成校验数据，以该校验数据更新校验块。本发明提出的纠删码更新方法，在保证一致性的前提下，减少更新过程中产生的计算开销、网络开销和磁盘寻道开销，提高了纠删码的更新效率，在一些应用场景相对其他更新方法，达到1个数量级的性能提升。

技术领域

本发明涉及数据存储及纠删码领域，特别涉及一种基于副本数据日志的混合日志纠删码更新方法。

背景技术

在大数据时代，海量数据的存储正面临存储可靠性与空间利用率的矛盾。纠删码存储方式，既具有较高的空间利用效率，又能保证数据存储的可靠性，越来多的应用于存储系统当中。组件故障经常威胁由廉价商业服务器构建的集群存储系统的可靠性。磁盘阵列、副本和纠删码机制用于提高了数据的可靠性。然而，磁盘阵列性能比较低，且作用于单机，无法保证分布式系统的节点数据可靠性。副本机制简单，高效，是当前最为普遍的数据组织方式，但副本机制在存储成本和网络传输带宽方面是昂贵的。在3副本的情况下，副本占用3倍的磁盘存储开销和网络传输开销。然而，纠删码只占用1.3倍的磁盘存储开销和网络传输开销。纠删码机制由于其在磁盘成本和网络开销方面的优势，已被开源和商用存储系统广泛采用。在Google的GFS、Microsoft的Azure以及Facebook的存储系统等商业系统和HDFS、GlusterFS、CEPH等开源存储系统中都有应用。

纠删码主要用于对更新性能要求较低的离线应用场景，如廉价的数据中心、多媒体、冷数据存储等。然而，在经常更新数据的文件系统(如企业服务器、数据库应用程序和网络文件系统)中，纠删码的更新性能是一个瓶颈。因此，在实时应用、在线数据处理和数据库等场景中，提高更新性能已成为纠删码的主要需求。

更新过程包括数据块更新和奇偶校验块更新。数据块通常采用就地更新方法，读取存储的旧数据，修改内容，并写入新的数据。校验块通常采用基于日志的更新方法，将更新记录追加到仅支持追加操作的日志末尾。然而，当前基于日志的更新方法仍然非常复杂，计算开销、网络开销和随机访问开销很大，导致更新延迟很大，更新吞吐量很低。因此，许多研究者不断地对擦除码更新进行优化，以获得更快的更新速度，例如PL，PLR和PARIX。

在更新操作上，基于副本的数据组织方式，发生更新时只需要同时更新同为副本的几个数据块即可。而纠删码与副本组织方式不同，纠删码的校验块采用基于柯西矩阵的运算所得，当数据块更新时，校验块需要通过计算才可以更新。