[发明专利]一种数据存储方法及装置

说明书

本发明公开了一种数据存储方法及装置，此方法包括：对文件存储区域进行分组，设置每个分组的存储容量；接收客户端发送的文件上传请求，文件上传请求包括待上传文件的文件标识和根据预设算法计算出的所述待上传文件的校验块；确定待上传文件的信息，包括所述待上传文件的文件标识、所述待上传文件的原始数据和所述校验块；确定目标分组，包括：确定各分组的文件标识范围，根据所述待上传文件的文件标识和各分组的文件标识范围，将文件标识范围包含所述待上传文件的文件标识的分组并且剩余存储量不小于待上传文件信息占用的存储量的分组作为目标分组；将所述待上传文件的信息存储至所述目标分组。本发明可以提高文件管理科学性，提高存储速度。

技术领域

本发明涉及云存储领域，尤其涉及一种数据存储的方法及装置。

背景技术

现有的分布式数据存储系统一般采用固定的数据副本(如2副本或3副本)，其主要缺点是对于数据存储区域中存储的访问次数较少的冷数据，需要同样占用多副本存储空间，使得无法腾出较多的存储空间给数据存储节点中存储的访问次数较多的热点数据使用，造成存储空间的有效利用率较低。

为了节省冷数据占用的存储空间，现有技术中，利用纠删码(Erasure Coding)算法对文件内容进行编码，当文件内容损坏时，可以利用该编码将文件内容回复，这样减少了冷数据因存储副本占用的存储空间。

当用户下载文件时，需要在存储空间中逐个查找存储的文件，导致系统资源被长时间占用，这样会对系统正常的操作产生一定的影响和干扰。

发明内容

本发明旨在解决上面描述的问题。本发明的目的是提供解决以上问题的一种数据存储的方法及装置。

本发明提供的数据存储的方法，包括：

步骤1，对文件存储区域进行分组，设置每个分组的存储容量；

步骤2，接收客户端发送的文件上传请求，所述文件上传请求包括待上传文件的文件标识和根据预设算法计算出的所述待上传文件的校验块；确定所述待上传文件的信息，包括所述待上传文件的文件标识、所述待上传文件的原始数据和所述校验块；

步骤3，确定目标分组，包括：确定各分组的文件标识范围，根据所述待上传文件的文件标识和各分组的文件标识范围，将文件标识范围包含所述待上传文件的文件标识的分组并且剩余存储量不小于待上传文件信息占用的存储量的分组作为目标分组；

步骤4，将所述待上传文件的信息存储至所述目标分组。

上述方法还具有以下特点：

所述确定各分组的文件标识范围包括：确定各分组中包含的所有文件标识的涵盖范围，未存入任何信息的分组的文件标识范围和只存入一个文件标识的分组的文件标识范围为最大范围。

上述方法还具有以下特点：

所述步骤3还包括：在所述文件标识范围不是所述最大范围的分组中，如果各分组的所述文件标识范围均不涵盖所述待上传文件的文件标识，或者只有一个分组内的所述文件标识范围涵盖所述待上传文件的文件标识且该分组的剩余存储量小于所述待上传文件信息占用的存储量，则将已存储文件信息且剩余存储量不小于所述待上传文件信息占用的存储量的分组作为所述目标分组；

如果已存储文件信息的每个分组的剩余存储量均小于所述待上传文件信息占用的存储量，则将未存储文件信息的分组作为所述目标分组。

上述方法还具有以下特点：