[发明专利]一种提高纠删码恢复速度的方法、装置及后台服务器

说明书

本发明公开了一种提高纠删码恢复速度的方法、装置及后台服务器，该方法包括：对数据进行分割及冗余处理，生成多个第一数据块和第一校验块；将第一数据块划分为多个逻辑组，对每个逻辑组内的第一数据块进行冗余处理，得到至少一个第二校验块；将每个逻辑组内的第一数据块进行再分割处理后得到多个第二数据块及第二校验块存储至不同的节点上并形成配置文件；根据配置文件查找故障节点所属的逻辑组，控制从逻辑组内随机选取的节点拷贝该逻辑组内各节点上的第二数据块和第二校验块对故障节点进行组内数据恢复；本发明进行数据恢复时所需数据量更少，无需从全部节点拷贝数据，整个恢复过程占用的时间更短，进行数据传输时占用的带宽和资源也更少。

技术领域

本发明属于数据存储与恢复技术领域，更具体地，涉及一种提高纠删码恢复速度的方法、装置及后台服务器。

背景技术

Ceph是一个专注于分布式的、弹性可扩展的、高可靠的、性能优异的存储系统平台，可用于为虚拟机提供块存储方案或通过FUSE提供常规的文件系统。Ceph是个高度可配置的系统，管理者可以控制系统的各个方面，它提供了一个命令行界面用于监视和控制其存储集群。Ceph也包含鉴证和授权功能，可兼容多种存储网关接口，如OpenStack Swift和Amazon S3。

目前Ceph支持用副本策略或者纠删码保证数据的可靠性，副本策略和纠删码是存储领域常见的两种数据冗余技术。副本是将数据复制多份，并将其存储在不同的位置，比如磁盘、存储节点或者其它地理位置。纠删码(erasure coding，EC)是将数据分割成n个片段，原始的数据元素通过一定的计算，得到m块冗余元素(校验块)，并将m+n块数据存储在不同的位置，比如磁盘、存储节点或者其它地理位置。相比于副本策略，纠删码具有更高的磁盘利用率。

然而随着时间迁移，Ceph存储的数据会越来越多，如果出现节点或者机器故障将有大量数据需要恢复，会占用大量的带宽和资源，Ceph中的数据存储节点越多，带宽和资源的占用情况越严重，这样可能造成Ceph稳定性下降，甚至可能影响上层的服务。

当Ceph中的某个节点出现故障，造成数据丢失或者不可访问，会触发Ceph数据恢复，负责数据恢复的节点需要从所有存储数据块的节点上拷贝数据，假如Ceph中共有100个数据存储节点，则负责数据恢复的节点需要拷贝其它98个数据存储节点上存储的数据片段，经过大量的数据计算后对故障节点的数据进行恢复；如果节点更多的话，需要从更多的节点拷贝数据；这种数据恢复方法存在以下缺陷：一是拷贝大量数据需要占用网络带宽，会影响Ceph的其他服务功能；二是会占用负责恢复数据的节点大量的系统资源，并且数据恢复的时间比较长。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了一种提高纠删码恢复速度的方法、装置及后台服务器，其目的在于解决现有的数据恢复方式存在的数据恢复的时间长，并且占用大量的带宽和资源，造成Ceph稳定性下降的问题。

为实现上述目的，按照本发明的第一个方面，提供了一种提高纠删码恢复速度的方法，该方法包括以下步骤：

S1：根据预置的纠删码策略以及存储节点的数量对待存储数据进行分割及冗余处理，生成多个第一数据块和第一校验块；

S2：将多个所述第一数据块划分为至少两个逻辑组，分别对每个所述逻辑组内的多个第一数据块进行冗余处理，得到至少一个第二校验块；

S3：对每个逻辑组内的多个第一数据块进行再分割处理，得到多个第二数据块，且所述第二数据块与第二校验块的总量与第一数据块的数量相等；

S4：分别将各逻辑组内的多个第二数据块和第二校验块分布存储至不同的存储节点上，并形成记录所述逻辑组与其包含的存储节点之间的对应关系的配置文件；