[发明专利]一种数据存储方法、装置、电子设备及可读存储介质

说明书

本申请公开了一种数据存储方法、装置、电子设备及计算机可读存储介质，该方法包括：获取并拆分目标数据，得到多个目标数据块；判断目标数据块中是否存在已经被存储的重复数据块；若存在重复数据块，则将各个重复数据块分别从源数据容器迁移至若干个第一新增容器中存储，并将目标数据块中的非重复数据块存入第二新增容器；若不存在重复数据块，则将目标数据块存入第三新增容器；建立新增容器与目标数据之间的目标容器对应关系；该方法在进行数据存储时，将各个数据块按照其生命周期进行排列；在进行数据读取时，可以只读出需要的数据块而不附带任何其他数据，避免出现读放大现象，提高了数据读取速度。

技术领域

本申请涉及存储技术领域，特别涉及一种数据存储方法、数据存储装置、电子设备及计算机可读存储介质。

背景技术

在数据存储、数据备份场景中，数据的多版本备份往往存在大量的重复数据，需要引入数据去重(或称为重删)机制以减少存储开销。相关技术在将数据重删后对数据的存储方式非常简单，其将重删后相邻的数据按顺序摆放到多个数据容器中，并将各个版本的数据容器依次摆放。然而，由于数据重删会破坏数据的局部性，这样的数据和容器摆放方式会造成数据恢复性能差，在进行数据读取时会出现读放大的现象，导致数据恢复速度较慢，无法发挥存储设备的吞吐性能。

发明内容

有鉴于此，本申请的目的在于提供一种数据存储方法、数据存储装置、电子设备及计算机可读存储介质，在进行数据读取时，可以只读出需要的数据块而不附带任何其他数据，避免出现读放大现象，提高了数据读取速度。

为解决上述技术问题，本申请提供了一种数据存储方法，包括：

获取并拆分目标数据，得到多个目标数据块；

判断所述目标数据块中是否存在已经被存储的重复数据块；

若存在所述重复数据块，则将各个所述重复数据块分别从源数据容器迁移至若干个第一新增容器中存储，并将所述目标数据块中的非重复数据块存入第二新增容器；

若不存在所述重复数据块，则将所述目标数据块存入第三新增容器；

建立新增容器与所述目标数据之间的目标容器对应关系；所述新增容器为所述第一新增容器和所述第二新增容器，或者为所述第三新增容器。

可选地，所述判断所述目标数据块中是否存在已经被存储的重复数据块，包括：

确定所述目标数据对应的历史版本信息，并利用所述历史版本信息得到对应的历史指纹索引；

生成各个所述目标数据块分别对应的数据块指纹，并判断所述历史指纹索引中是否存在所述数据块指纹；

若存在所述数据块指纹，则确定存在所述重复数据块；

若不存在所述数据块指纹，则确定不存在所述重复数据块。

可选地，还包括：

基于所述历史指纹索引，利用所述非重复数据块对应的目标数据块指纹进行索引生成处理，得到所述目标数据对应的新增指纹索引；

建立并存储所述目标数据的新增版本信息和所述新增指纹索引之间的对应关系。

可选地，还包括：

确定所述目标数据对应的历史版本数据，并确定所述历史版本数据对应的非重复历史数据块；

将所述目标数据中不存在的非重复历史数据块确定为目标历史数据块，并将存储有所述目标历史数据块的数据容器确定为所述历史版本数据对应的归档容器；

若检测到目标历史版本数据对应的删除指令，则删除所述目标历史版本数据对应的目标归档容器。

可选地，所述将各个所述重复数据块分别从源数据容器迁移至若干个第一新增容器中存储，包括：