[发明专利]数据备份处理方法和装置

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据备份处理方法和装置。

背景技术

大数据时代对互联网公司的存储系统提出了更高的要求，无论是来自用户还是来自公司内部，每天都新增大量的数据需要进行备份归档。

传统的分布式存储系统为了保证数据可靠性，往往采用经典的三副本管理策略：对每一份数据都同时维护另外两个备份，任何一份发生故障时都可以从另外两份数据直接拷贝恢复。这种方式尽管简单有效，但存储空间利用率只有1/3，浪费了大量的存储采购、功耗成本。

为了提高资源有效利用率，降低单位容量的存储成本，人们提出了纠删码(Erasure Codes)方式管理：为每一份数据计算生成一定量的校验数据，原数据和校验数据中任何一部分发生故障时都可以用剩余的非故障数据通过计算恢复。纠删码策略生成的校验数据量有限，因此相比于三副本策略，在保证数据可靠性的同时有效提高了存储资源利用率。但纠删码计算十分耗时，计算时需要耗费大量的网络和磁盘带宽，因此当发生故障需要恢复数据时，系统的整体性能会受到较大的影响。如果在恢复过程中恰好有数据读取需求，读取速度将严重受限于数据修复速度，产生“降级读”问题。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种数据备份处理方法，该方法可以减少数据修复所耗的时间和资源，提升数据存储系统的整体修复性能。

本发明的另一个目的在于提出一种数据备份处理装置。

为达到上述目的，本发明实施例提出的数据备份处理方法，包括：为原数据生成校验数据，并将所述原数据和所述校验数据保存在至少一个硬件节点中；预测第一时间，所述第一时间是所述硬件节点中第一硬件节点在未被处理时会发生故障的时间；在所述第一时间之前，对第一数据进行预修复处理，所述第一数据是所述第一硬件节点上的数据。

本发明实施例提出的数据备份处理方法，通过为原数据生成校验数据，并将所述原数据和所述校验数据保存在至少一个硬件节点中，在到达预测的发生故障的第一时间之前对将要发生故障的第一硬件节点上的数据进行预修复处理，有效减少了硬件故障后数据修复所耗的时间和资源，在不影响数据可靠性的前提下提升了数据存储系统对硬件故障的整体修复性能。

为达到上述目的，本发明实施例提出的数据备份处理装置，包括：保存模块，用于为原数据生成校验数据，并将所述原数据和所述校验数据保存在至少一个硬件节点中；预测模块，用于预测第一时间，所述第一时间是所述硬件节点中第一硬件节点在未被处理时会发生故障的时间；处理模块，用于在所述第一时间之前，对第一数据进行预修复处理，所述第一数据是所述第一硬件节点上的数据。

本发明实施例提出的数据备份处理装置，通过为原数据生成校验数据，并将所述原数据和所述校验数据保存在至少一个硬件节点中，在到达预测的发生故障的第一时间之前对将要发生故障的第一硬件节点上的数据进行预修复处理，有效减少了硬件故障后数据修复所耗的时间和资源，在不影响数据可靠性的前提下提升了数据存储系统对硬件故障的整体修复性能。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明实施例提出的数据备份处理方法的流程示意图；

图2是本发明实施例的分析器显示的硬盘2个关键参数的变化与最终故障发生在时间上的相关性的示意图；

图3是根据本发明另一实施例提出的数据备份处理方法的流程示意图；

图4是在纠删码策略下故障修复中应用本发明前后的原理的示意图；

图5是本发明另一实施例的数据备份处理装置的结构示意图；

图6是本发明另一实施例的数据备份处理装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

下面参考附图描述根据本发明实施例的数据备份处理方法和装置。

图1是本发明一实施例提出的数据备份处理方法的流程示意图，该方法包括：