[发明专利]分布式文件系统中小文件的修复方法和装置

说明书

本发明提供了一种分布式文件系统中小文件的修复方法和装置，属于计算机技术领域。所述方法包括：确定出现故障的第一逻辑盘，第一逻辑盘中包含待修复的第一小文件；确定包含第一逻辑盘的第一逻辑盘组，第一逻辑盘组包含的逻辑盘中存储与第一小文件相关的第二小文件；批量读取第一逻辑盘组上所有第二小文件；根据第二小文件修复第一小文件。本发明确定出现故障的逻辑盘，该逻辑盘包含待修复的第一小文件；批量读取包含该逻辑盘的逻辑盘组上所有与第一小文件相关的第二小文件；根据第二小文件修复第一小文件，使逻辑盘组中不同逻辑盘的相关小文件被批量读取、修复，避免逐个修复小文件带来的频繁小块读写操作，提高小文件的修复速度，提升修复性能。

技术领域

本发明涉及计算机技术领域，尤其涉及分布式文件系统中小文件的修复方法和装置。

背景技术

对于分布式文件系统，每块磁盘上可以存储大量文件。对于小文件而言，每块磁盘上存储的数据量更加可观。当磁盘出现故障时，会造成大量小文件出现部分数据不可用的情况。分布式文件系统会对存在故障的小文件进行修复。

分布式文件系统对磁盘故障的容忍能力有限，为了避免修复完成前，由于系统中产生新的故障造成某些小文件的完全损坏，需要在尽可能短的时间内，对存在故障的小文件进行修复。

目前，分布式文件系统中小文件的修复方法为：对每个小文件，进行读取、修复。当修复的小文件个数较多时，目前的方法会造成磁盘上大量小块随机读取，由于分布式文件系统采用的存储介质在进行小块随机读取时性能较低，会导致修复性能偏低。

发明内容

为解决上述问题，本发明实施例提出了一种分布式文件系统中小文件的修复方法和装置。

一方面，本发明实施例提供了一种分布式文件系统中小文件的修复方法，包括：

确定出现故障的第一逻辑盘，所述第一逻辑盘中包含待修复的第一小文件；

确定包含所述第一逻辑盘的第一逻辑盘组，所述第一逻辑盘组包含的逻辑盘中存储与所述第一小文件相关的第二小文件；

批量读取所述第一逻辑盘组上所有第二小文件；

根据所述第二小文件修复所述第一小文件。

可选地，所述第二小文件为所述第一小文件和所述第一小文件的备份小文件，或所述第一小文件和与所述第一小文件为同一文件的部分数据形成的小文件，或所述第一小文件、所述第一小文件的备份小文件和与所述第一小文件为同一文件的部分数据形成的小文件。

可选地，所述确定出现故障的第一逻辑盘之前，还包括：

将磁盘切分为至少一个第二逻辑盘；

将存储第三小文件的第二逻辑盘组成第二逻辑盘组；

所述第二逻辑盘组中存储的第三小文件互为相关。

可选地，所述第二逻辑盘组中存储的第三小文件互为相关，包括：所述第二逻辑盘组中存储的所有第三小文件互为备份，或所述第二逻辑盘组中存储的所有第三小文件为同一文件的部分数据形成的小文件，或所述第二逻辑盘组中存储的第三小文件中一部分互为备份，另一部分为同一文件的部分数据形成的小文件。

可选地，若组成第二逻辑盘组的第二逻辑盘为多个，则组成所述第二逻辑盘组的第二逻辑盘位于不同节点上。

可选地，节点出现故障，所述确定出现故障的第一逻辑盘，包括：

确定出现故障的节点上的各磁盘；

确定各磁盘切分出的第三逻辑盘；

将所有第三逻辑盘均作为第一逻辑磁盘。

可选地，磁盘出现故障，所述确定出现故障的第一逻辑盘，包括：