[发明专利]提升分布式存储集群中LRC码修复性能的方法、装置及系统

说明书

本发明公开了一种提升分布式存储集群中LRC码修复性能的方法、装置及系统，属于计算机存储领域，包括：执行LRC编码以生成相应的条带；对于每一个条带，将其中的每一个局部组进一步划分为一个或多个小分组后，将同一个小分组内的编码块放置到同一个机架中的不同节点，不同的小分组放置到不同机架中；对单个编码块进行修复时，获得待修复编码块所在的目标小分组，以及同一局部组内的其他小分组；在各小分组所在机架内，由中继节点收集同一小分组内的编码块，并解码得到中间结果；在目标小分组所在机架内，由目标节点收集中间结果后，解码以修复得到待修复的编码块并存储该编码块，从而完成修复操作。本发明能够提升分布式存储集群中LRC码的修复性能。

技术领域

本发明属于计算机存储领域，更具体地，涉及一种提升分布式存储集群中LRC码修复性能的方法、装置及系统。

背景技术

随着信息技术的快速发展，需要存储的数据量不断增大，大规模的分布式存储集群获得了广泛的应用廉价存储设备的应用也逐渐变得广泛。而随着存储规模的增大、廉价磁盘数目的增多，分布式存储集群中磁盘发生故障的概率也在上升，从而导致存储系统的可靠性面临严峻的挑战。为了保证存储系统的可靠性，大多数存储系统都使用了容错技术。LRC码(locally repairable codes，局部性修复编码)是一种重要的存储容错技术，已经应用在Microsoft和Facebook的分布式存储集群中。LRC码在RS码(Reed-solomon codes，里所码)的基础上，将条带内的编码块分组，每一个分组称为一个局部组，再对每个局部组内的块进行编码生成一个额外的局部校验块，单个块丢失时，只需同局部组内的其它块的数据解码即可恢复丢失的数据。

现代分布式存储集群大多具有层次架构，一个机架包含多台服务器，再由多个机架组成一个集群。分布式存储集群的层次架构使得节点间的网络传输被分为机架内传输和机架间传输，机架内传输带宽比较富余，机架间传输带宽则相对紧张，对于某个节点来说，二者的可用量可能相差5-20倍。例如，在Google的存储集群中，机架间访问吞吐量仅为机架内访问吞吐量的约十分之一。

而目前，在分布式存储集群中，为了最大化故障域，提高容错能力，往往将同一条带的编码块放入不同机架的节点中，例如，相应的条带分布和修复过程都是水平的，分布式存储集群本身的层次拓扑结构被忽略或刻意消除了。这导致在分布式存储集群中执行LRC码修复操作时，消耗的都是稀缺的机架间网络带宽资源，这大大限制了分布式集群中LRC码的修复性能。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种提升分布式存储集群中LRC码修复性能的方法、装置及系统，其目的在于，提升分布式存储集群中LRC码的修复性能。

为实现上述目的，按照本发明的第一方面，提供了一种提升分布式存储集群中LRC码修复性能的方法，包括：

对待存储的数据块执行LRC编码，以生成相应的条带；

对于每一个条带，将其中的每一个局部组进一步划分为一个或多个小分组后，将同一个小分组内的编码块放置到同一个机架中的不同节点，不同的小分组放置到不同机架中；

对单个编码块进行修复时，获得待修复编码块所在的小分组，记为目标小分组，并获得与目标小分组属于同一局部组的所有小分组；在各小分组所在机架内，由中继节点通过机架内网络收集同一小分组内的编码块，并通过解码计算得到中间结果；在目标小分组所在机架内，由目标节点收集各中继节点所计算的中间结果后，通过解码计算修复得到待修复的编码块并存储该编码块，从而完成修复操作；

其中，中继节点和目标节点均为相应机架内的节点。