[发明专利]一种热数据存储的自适应局部重构码设计方法及云存储系统

说明书

本发明提供了一种热数据存储的自适应局部重构码设计方法及云存储系统，自适应局部重构码的码字组成包括数据块、局部校验块和全局校验块，能够根据不同热度的数据块读取到达率自适应调节编码参数，云存储系统使用本发明所述自适应局部重构码设计方法进行热点数据的存储。本发明的有益效果是：本发明相对于现有码字在相同的存储负载或重构代价时，根据码字参数的不同可以实现更大的局部最大吞吐量，达到百分之五十以上的性能提升，还具有更小的实现代价；本发明的自适应局部重构码更适合应用于云存储系统中。

技术领域

本发明涉及云存储技术领域，尤其涉及一种热数据存储的自适应局部重构码设计方法及云存储系统。

背景技术

云存储系统提供大规模的数据存储服务，已经成为企业进行数据存储的广泛方法，例如谷歌、Facebook、亚马逊和微软，都使用其支持来自客户的大量数据存储请求。由于采用价格低廉的磁盘对数据进行存储，在大型云存储系统中发生故障十分常见。存储系统通常采用复制或擦除编码等冗余方式保障数据的可靠性和可用性。传统复制方法会带来高额的冗余，擦除编码在保持相同的可靠性的前提下需要的存储空间远小于复制方法。局部重构码(Local Reconstruction Codes)就是一种已经得到广泛应用的擦除编码，其在修复时需要连接更少节点，从而可以降低额外连接的I/O。

LRC(k,l,r)将k个数据块分为l组每组有k/l个数据块和一个局部校验块，还有r个全局校验块由所有数据块生成。

实际的存储系统中有百分之九十的故障是临时故障，这可能是由于系统重启或断电，失去网络连接，热点数据造成网络拥塞等原因。为了访问不可用的数据，使用擦除编码的系统需要执行降级读取操作。与复制方法可以直接检索另一个可用副本不同，擦除编码需要从幸存的节点检索数据，并重新解码出不可用数据。因此，尽管擦除编码提高了存储效率，但它在恢复期间触发了额外的I/O和带宽。研究表明，在擦除编码存储系统中，为恢复频繁的故障可以触发大量的网络流量。由于擦除编码已经在大量分布式存储系统中得到了使用，而其数据重构的问题已经成为了一个性能瓶颈。

现有的存储冷热数据的云存储系统的编码存在以下缺点：

1)现有的广泛应用的局部重构码没有考虑实际存储的数据之间的差异性会对系统造成的影响，如数据流行度，在编码结构的设计中，对所有数据块的保护程度相同。

2)冷热数据可能会带来系统的临时故障，需要采用降级读取的方法应对，编码方案中考虑降级读取才能更好的适应这一差异。

3)因为冷热数据的读取需求不同，不考虑数据冷热差异的存储方案无法更好的利用系统中的所有存储设备，而且可能会时常带来暂时故障。因此，在异构云存储系统中，需要设计一个可以应对热数据带来问题的编码方案。

发明内容

考虑到数据之间的冷热差异和其可能带来的临时故障，一种面向热数据和降级读取的容错编码方案是值得设计的。且针对以上现有编码技术的缺点，本发明设计的编码方案考虑了冷热数据的差异，局部重构码进行降级读取时的流量变化。本发明的编码方案的特点是在编码设计时根据数据差异和实际参数设定要求适应性的确定编码参数，优化了热数据可以实现的吞吐量和降级读取操作的代价，以实现适应热数据的编码方案。

本发明提供了一种适合热数据存储的自适应局部重构码设计方法，自适应局部重构码包括数据块、局部校验块和全局校验块，其中l₀定义为自适应局部重构码的适应性指数，表示仅为组内最热的数据块生成的局部校验块的个数，l-l₀-1个数据块分别与组内最热的数据块生成一个局部校验块，一共构成l-l₀-1个局部校验组，剩下的数据块生成一个局部校验块构成一个局部校验组