[发明专利]一种数据存储方法及装置

说明书

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种数据存储方法及装置。

背景技术

分布式数据存储系统，是由分布于多个计算机节点的若干个数据存储系统组成。其中，分布于多个计算机节点的数据存储系统，又可以称之为数据存储节点。

在分布式数据存储系统中，通常采用数据备份的方式来保证数据存储的可靠性。其中，作为备份存储的数据可以称之为副本。一般情况下，分布式数据存储系统采用多副本的方式来保证数据存储的可靠性。例如，采用2副本或者3副本技术，其实现方式为将提供给用户使用的存储卷划分成固定大小的数据块。对于数据块，系统会在不同的数据存储节点上保留固定数量的数据副本。随着技术的不断发展，数据消冗技术出现在分布式数据存储系统中，其主要方法类似于数据压缩技术，分别以不同长度来查找和比对某个存储卷内的数据，压缩数据存储空间。对于重复的数据块只保留1份，以节省存储空间。

现有的分布式数据存储系统一般采用固定的数据副本（如：2或3副本），不支持数据副本数量的增加和减少。一旦系统运行后，则不再支持副本变化。其主要缺点是对于数据存储节点中存储的访问次数较少的冷数据，需要同样占用多副本存储空间，使得无法腾出较多的存储空间给数据存储节点中存储的访问次数较多的热点数据使用，造成存储空间的有效利用率较低。另外，对于数据的备份操作，需要从在线的数据存储节点上读取数据，这样会对正常业务操作产生一定影响和干扰。

综上所述，在分布式数据存储系统中，存储空间的有效利用率较低，且从在线的数据存储节点上读取数据，对正常业务操作产生一定影响和干扰。

发明内容

本发明提供了一种数据存储方法及装置，能够较好地解决在分布式数据存储系统中，存储空间的有效利用率较低，且从在线的数据存储节点上读取数据，对正常业务操作产生一定影响和干扰的问题。

一种数据存储方法，包括：在分布式数据存储系统中，若确定出数据块中的数据是冷数据时，接收并备份存储所述冷数据；根据备份存储的所述冷数据，在确定出数据存储节点中至少有两个和所述冷数据相同的数据块时，保留其中一个数据存储节点中的数据块；并指示分布式数据存储系统中的各数据存储节点共享保留的数据块。

一种数据存储装置，包括：接收模块，用于在分布式数据存储系统中，若确定出数据块中的数据是冷数据时，接收并备份存储所述冷数据；存储模块，用于根据备份存储的所述冷数据，在确定出数据存储节点中至少有两个和所述冷数据相同的数据块时，保留其中一个数据存储节点中的数据块；指示模块，用于指示分布式数据存储系统中的各数据存储节点共享保留的数据块。

采用上述技术方案，对于数据存储操作，首先区分冷热数据，进而对冷数据进行相应的处理，这样，可以降低备份操作对在线数据存储节点的性能影响。能够较好地解决在分布式数据存储系统中，存储空间的有效利用率较低，且从在线的数据存储节点上读取数据，对正常业务操作产生一定影响和干扰的问题。

附图说明

图1为本发明实施例中，提出的一种数据存储方法流程图；

图2为本发明实施例中，提出的对存储的数据进行读操作方法流程图；

图3为本发明实施例中，提出的对存储的数据进行写操作方法流程图；

图4为本发明实施例中，提出的一种数据存储装置结构组成示意图。

具体实施方式

下面将结合各个附图对本发明实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细地阐述。

本发明实施例提出一种数据存储方法，如图1所示，其具体处理流程如下述：

步骤11，在分布式数据存储系统中，确定数据块中的数据是否是冷数据，如果判断结果为是，执行步骤12，反之结束处理。

在第一设定时长内，确定数据存储节点中的每个数据块的访问频率和值，并确定每个数据块的访问频率，若单个数据块的访问频率和访问频率和值的比值小于第一设定阈值时，确定所述数据块中的数据是冷数据。

本发明实施例提出的技术方案中，分布式数据存储系统中，包括至少一个数据存储节点，以及包括至少一个预备份存储节点。其中在数据存储节点中，存储有数据块（英文：Chunk）的元数据对象记录数据块副本的数量和地址信息。预备份存储节点用于存储冷数据。

其中，在每个数据存储节点中通过大规模数组记录所有数据块的读写次数。较佳地，本发明实施提出的技术方案中，可以周期性地统计所有数据存储节点上所有数据块的读写次数。对于相同数据块的不同副本，本发明实施例提出的技术方案中，累加其所有副本的读写次数。