[发明专利]数据处理方法和分布式存储装置

说明书

本公开提供了一种数据处理方法，应用于分布式存储装置，包括：确定源节点和目标节点，其中，源节点包括分布式存储装置中任一需要进行数据备份的数据存储节点，目标节点为源节点的备份节点；获取与源节点对应的第一数据文件和第一数据文件的第一快照文件，以及与目标节点对应的第二数据文件和第二数据文件的第二快照文件；将第一数据文件中的数据全部存入第二数据文件中；确定第二数据文件与第一快照文件之间的相同数据和差异数据；以及基于相同数据对应的数据索引和差异数据，确定第二快照文件中的存储内容。本公开还提供了一种分布式存储装置。

技术领域

本公开涉及一种数据处理方法和分布式存储装置。

背景技术

分布式存储是指利用集群和分布式文件装置等技术，集合网络中大量的不同类型的存储设备，共同对外提供数据存储功能和业务访问功能的存储方式。

为了保证数据的安全性和高可用性，分布式存储装置通常会采用多副本机制，即当用户在分布式存储装置中存储一份数据时，分布式存储装置会根据用户设置的副本数(如3份)，将这份数据存储为多份(如3份)。而当分布式存储装置的节点宕机或磁盘出现故障时，会导致数据的副本数减少。进一步，为了保证分布式存储装置中数据的副本数满足用户的需求，在节点宕机或磁盘出现故障后，通常会重新创建一个节点来恢复丢失的数据。

但是，在实现本公开构思的过程中，发明人发现现有技术中至少存在如下缺陷：对于分布式存储装置，现有的数据恢复方案极易影响装置的性能，导致装置响应过慢。

发明内容

本公开的一个方面提供了一种数据处理方法，应用于分布式存储装置，包括：确定源节点和目标节点，其中，上述源节点包括上述分布式存储装置中任一需要进行数据备份的数据存储节点，上述目标节点为上述源节点的备份节点；获取与上述源节点对应的第一数据文件和上述第一数据文件的第一快照文件，以及与上述目标节点对应的第二数据文件和上述第二数据文件的第二快照文件；将上述第一数据文件中的数据全部存入上述第二数据文件中；确定上述第二数据文件与上述第一快照文件之间的相同数据和差异数据；以及基于上述相同数据对应的数据索引和上述差异数据，确定上述第二快照文件中的存储内容。

可选地，上述分布式存储装置中需要进行数据备份的数据存储节点包括以下至少之一：上述分布式存储装置中出现宕机的数据存储节点；上述分布式存储装置中出现故障的数据存储节点；以及上述分布式存储装置中既未出现宕机也未出现故障但需要为其创建备份节点的数据存储节点。

可选地，获取与上述源节点对应的第一数据文件和上述第一数据文件的第一快照文件包括：在上述源节点宕机或者故障的情况下：从上述分布式存储装置的其他数据存储节点中获取上述源节点中的数据文件的副本数据文件以及上述源节点中的快照文件的副本快照文件；将上述副本数据文件作为上述第一数据文件；以及将上述副本快照文件作为上述第一快照文件，或者在上述源节点既未出现宕机也未出现故障但需要为其创建备份节点的情况下：获取上述源节点中的数据文件并将其作为上述第一数据文件；以及获取上述源节点中的快照文件并将其作为上述第一快照文件。

可选地，在上述源节点宕机或者故障的情况下，从上述分布式存储装置的其他数据存储节点中获取上述源节点中的快照文件的副本快照文件包括：判断上述分布式存储装置的其他数据存储节点中是否存在上述源节点中的快照文件的副本快照文件；若存在，则从上述分布式存储装置的其他数据存储节点中获取上述源节点中的快照文件的副本快照文件；以及若不存在，则从快照数据库中获取上述源节点中的快照文件的副本快照文件，或者在上述源节点既未出现宕机也未出现故障但需要为其创建备份节点的情况下，获取上述源节点中的快照文件包括：判断上述源节点中是否存在快照文件；若存在，则获取上述源节点中的快照文件；以及若不存在，则从快照数据库中获取上述源节点中的快照文件。