[发明专利]数据存储方法和装置

说明书

本文是关于一种数据存储方法和装置。涉及计算机互联网领域，解决了以文件组为文件整体将文件由多副本类型转换为EC类型存储时影响访问的问题。该方法包括：根据数据被访问情况，重新确定所述数据的存储类型；将所述数据按照重新确定的所述存储类型进行存储。本文提供的技术方案适用于分布式存储系统，实现了适应访问需求的数据存储管理。

技术领域

本文涉及计算机互联网领域，尤其涉及一种数据存储方法和装置。

背景技术

分布式存储中数据热度不同，导致数据的访问频次存在差别。通常将访问频次较高的数据称为热数据，访问频次较低甚至几乎没有访问的数据称为冷数据。

基于冷热数据的访问需求不同，对于热数据一般采用多副本方式存储以满足文件的高并发访问，对于冷数据则可采用EC(Erasure Code，即纠删码)冷存储方式存储以降低存储成本，考虑到存储资源有限，需要将数据从多副本的存储方式导入为EC存储方式以节约资源。

分布式存储中，多副本数据的存储方式是将文件数据存储K份冗余副本，K份副本分布在指定故障隔离级别的存储设备中(如隔离级别为磁盘，则K份数据分布在不同的磁盘中)；EC存储方式是将文件数据通过EC编码计算得到M+N份数据(M为数据块数量，N为编码块数量)，这样存储成本为(M+N)/N,比热数据多副本K倍数据冗余降低存储成本。

大部分分布式存储中，多副本数据一般将多个文件数据放置在一个文件组中，文件组的存储容量固定(如10GB)，当文件组中的数据超过文件组的容量后将该文件组设置为只读状态，并在文件组设置为只读状态后，以文件组为单位将数据导入到EC存储方式的存储中。

以文件组为单位导入EC存储的方法，存在以下问题：

1、文件数据是以文件组为单位导入的，文件组中可能即存在热数据也存在冷数据，这样会将热数据导入为EC存储模式进行存储，影响文件的高并发访问效率，EC存储模式的数据被频繁访问会造成系统资源的很大负担。

2、无法直接删除EC存储方式下的文件数据，如果文件数据所在文件组已经整个导入为EC存储方式，则无法直接删除该文件数据，影响文件管理。

发明内容

为克服相关技术中存在的问题，本文提供一种数据存储方法和装置。

根据本文的一方面，提供一种数据存储方法，包括：

根据数据被访问情况，重新确定所述数据的存储类型；

将所述数据按照重新确定的所述存储类型进行存储。

优选的，根据数据被访问情况，重新确定所述数据的存储类型的步骤包括：

获取所述数据被访问的访问概率；

将所述访问概率与预置的至少一个存储条件进行比较，所述存储条件包含访问概率区间和对应的存储类型；

在所述访问概率符合预置的存储条件的访问概率区间的情况下，确定对应的存储类型为所述数据的存储类型。

优选的，所述存储类型至少包含以下类型中的任一或任意多项：

多副本存储、纠删码EC存储，

该方法还包括：

配置至少一个存储条件，所述存储条件至少包含以下条件中的任一或任意多项：

在访问概率在第一访问概率区间内的情况下，确定数据的存储类型为多副本存储，

在访问概率在第二访问概率区间内的情况下，确定数据的存储类型为EC存储，

其中，所述第一访问概率区间的下限大于等于所述第二访问概率区间的上限。