[发明专利]确定已丢失数据块的恢复数据的方法和装置

说明书

本发明公开了一种确定已丢失数据块的恢复数据的方法和装置，属于数据存储领域。所述方法包括：当目标条带存在数据块丢失时，将目标条带的未丢失数据块逐个读取到内存，如果内存中存在目标条带的其它未丢失数据块，则使用当前读取到内存的未丢失数据块，覆盖其它未丢失数据块；对于目标条带的每个已丢失数据块，获取已丢失数据块对应的恢复矩阵，确定已丢失数据块的更新的中间恢复数据，使用更新的中间恢复数据替换内存中存储的已丢失数据块的中间恢复数据；当目标条带不存在未读取的未丢失数据块时，根据最终确定的每个已丢失数据块的更新的中间恢复数据，确定每个已丢失数据块的输出恢复数据。采用本发明，可以减少对服务器内存的占用。

技术领域

本发明涉及数据存储领域，特别涉及一种确定已丢失数据块的恢复数据的方法和装置。

背景技术

随着计算机技术的发展，计算机数据的数据量越来越多，因此，数据的存储以及丢失数据的恢复也成为重要研究方向。纠删码算法是一种用于数据存储及恢复的算法，具有节省存储空间的优点。

当通过纠删码算法对数据进行保护时，先将该数据分割成大小相同的多个数据块(可称为原始数据块)，该多个数据块按照顺序排列形成一条数据块的条带。通过编码矩阵对原始数据块进行编码，生成校验数据块，然后将原始数据块和生成的校验数据块分别存储在磁盘中。当原始数据块发生丢失时，从磁盘中取出未丢失的所有数据块(包括原始数据块和校验数据块)，将取出的未丢失数据块存储在内存中，然后，根据已丢失数据块和编码矩阵生成恢复矩阵，通过预设算法，根据生成的恢复矩阵与未丢失数据块就可以计算得到已丢失数据块。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

在恢复数据的过程中，需要从磁盘中取出所有未丢失数据块，将这些数据块存储在内存中，且恢复的已丢失数据块也会存储在内存中，占用了较多内存。当同时对大批量的已丢失数据进行数据恢复处理时，会占用服务器大量内存。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种确定已丢失数据块的恢复数据的方法和装置。所述技术方案如下：

第一方面，提供了一种确定已丢失数据块的恢复数据的方法，所述方法包括：

当目标条带存在数据块丢失时，将所述目标条带的未丢失数据块逐个读取到内存；

每将一个未丢失数据块读取到内存时，如果内存中存在所述目标条带的其它未丢失数据块，则使用当前读取到内存的未丢失数据块，覆盖所述其它未丢失数据块；

对于所述目标条带的每个已丢失数据块，获取所述已丢失数据块对应的恢复矩阵，如果内存中不存在所述已丢失数据块的中间恢复数据，则基于当前读取到内存的未丢失数据块和所述恢复矩阵，确定所述已丢失数据块的中间恢复数据存储在内存中，如果内存中存在所述已丢失数据块的中间恢复数据，则基于当前读取到内存的未丢失数据块、所述恢复矩阵和内存中存储的所述已丢失数据块的中间恢复数据，确定所述已丢失数据块的更新的中间恢复数据，使用所述更新的中间恢复数据替换内存中存储的所述已丢失数据块的中间恢复数据；

当所述目标条带不存在未读取的未丢失数据块时，根据最终确定的每个已丢失数据块的更新的中间恢复数据，确定每个已丢失数据块的输出恢复数据。

可选地，所述数据块包括原始数据块以及校验数据块。

可选地，所述目标条带的已丢失数据块均为校验数据块，所述将所述目标条带的未丢失数据块逐个读取到内存，包括：将所述目标条带的未丢失原始数据块逐个读取到内存；

所述当所述目标条带不存在未读取的未丢失数据块时，根据最终确定的每个已丢失数据块的更新的中间恢复数据，确定每个已丢失数据块的输出恢复数据，包括：当所述目标条带不存在未读取的未丢失原始数据块时，将最终确定的每个已丢失校验数据块的更新的中间恢复数据，确定为每个已丢失校验数据块的输出恢复数据。