[发明专利]一种调整数据块存储位置的方法及系统

说明书

技术领域

本发明涉及大数据存储领域，特别是涉及一种调整数据块存储位置的方法及系统。

背景技术

随着互联网技术的不断发展，互联网中的数据存储节点中存储的数据量也越来越大。在大数据环境下，当某个操作涉及到的数据量较大时，该操作涉及到的数据在网络中的存储位置将直接影响该操作的效率。

例如，当某一个操作需要访问的数据(或数据块)如果被分散存储在多个数据存储节点上，则执行该操作的计算节点需要分别从多个不同的数据存储节点获取数据以便完成该操作。此时，将会有大量的数据通过网络进行传输(即从数据存储节点传输至计算节点)，带来大量的网络通信开销。

由上述可知，现有技术中的数据存储方法，由于将数据杂乱无章的分散存储在多个数据存储节点上，导致计算节点在执行涉及多个数据存储节点存储的数据的操作时，需要从多个不同的数据存储节点获取数据。这导致了大量的网络通信开销，同时也降低了对数据进行处理的效率。

发明内容

本发明的目的是提供一种调整数据块存储位置的方法及系统，可以将相关度较高的数据块存储到尽可能少的数据存储节点上，进而降低对数据进行处理时的网络通信开销，提高对数据进行处理的效率。

为实现上述目的，本发明提供了如下方案：

一种调整数据块存储位置的方法，包括：

获取分布式网络中的n个数据块；

利用超图确定所述n个数据块中任意m个数据块之间的相关度，m＜n；

将所述m个数据块划分至多个数据块集合，所述m个数据块中的任意一个数据块只属于所述多个数据块集合中的一个数据块集合，属于同一个数据块集合的数据块之间的相关度大于预设相关阈值；

对于任意一个所述数据块集合，分别计算将所述数据块集合中的数据块迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值；

确定最小的所述迁移代价值对应的目标数据存储节点；

将所述数据块集合中的数据块存储至所述目标数据存储节点。

可选的，所述利用超图确定所述n个数据块中任意m个数据块之间的相关度，具体包括：

确定历史操作访问过的数据块；

将所述历史操作访问过的数据块设定为超图的顶点；

根据公式计算每个顶点的权重，其中frq_j表示的历史操作j的频率，wv_i表示顶点i的权重；fum_ji＝1表示在历史操作中第j个操作访问了第i个数据块；k代表的是历史操作的总数；

将每个历史操作作为一条超边；

将与该超边对应的历史操作访问过的数据块，作为该超边的顶点；

根据公式we_j＝frq_j计算每个超边的权重，其中we_j表示超边j的权重；

根据上述步骤构造的超图模型中，所述超边的权重用于表示数据块之间的相关度。

可选的，所述计算将所述数据块集合中的数据块迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值之前，还包括：

判断所述数据块集合中的数据块个数是否位于预设个数范围内；

当所述数据块集合中的数据块个数小于所述预设个数范围的下限时，将其它的数据块集合中的数据块转移至所述数据块集合；

当所述数据块集合中的数据块个数大于所述预设个数范围的上限时，将所述数据块集合中的数据块转移至其它的数据块集合中。

可选的，所述计算将所述数据块集合中的数据块迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值，具体包括：

根据公式

计算将所述数据块集合中的数据块迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值；

其中，表示数据块集合C_i中第m个数据块的权重，表示数据块集合C_i中第m个数据块现在所属的站点ID，Cost_i→j表示的是将数据块集合i迁移到数据存储节点j上的代价。

可选的，所述将所述m个数据块划分至多个数据块集合，具体包括：

采用hMetis超图划分算法，将所述超图模型划分为多个数据块集合，以便确保所述多个数据块集合为具有最小割的划分结果。

一种调整数据块存储位置的系统，包括：

数据块获取单元，用于获取分布式网络中的n个数据块；