[发明专利]数据分布存储方法和系统

说明书

【技术领域】

本发明涉及网络技术领域，特别地涉及一种数据分布存储方法和系统。

【背景技术】

随着信息技术的发展，各行各业的电子数据已呈现爆炸式增长的趋势。为了增加数据存储的安全性并节约存储资源，越来越多的企业将数据交给能提供海量存储服务的数据中心存储，并通过网络远程访问数据中心存储的数据。近年发展起来的云存储技术，更是促进了数据的远程存储和访问的增长。

数据中心存储的数据以及数据访问量都是海量的，因而数据中心的整体运作消耗的总能量也非常巨大，而其中存储节点（存储设备）消耗的能量占数据中心消耗的总能量的很大比重，有数据统计，大概为25-35%。

数据中心一般将数据分布存储到多个存储节点。不同的存储节点有不同的数据传输速率、活动/休眠能耗。如何合理的分布存储数据，以降低数据中心的能耗并提高数据访问速度，是数据中心面临的问题。

【发明内容】

基于此，有必要提供一种能降低数据中心的能耗并提高数据中心的数据访问速度的数据分布存储方法。

一种数据分布存储方法，包括以下步骤：

A．读取存储节点的数据的历史访问特征；

B．根据存储节点的数据的历史访问特征设置模拟数据的访问频率；

C．设置所述模拟数据的大小；

D．依次选择多种预设存储算法中的一种，采用选择的预设存储算法根据所述存储节点的容量、能耗、数据传输速度以及所述模拟数据的访问频率和大小，将所述模拟数据分布存储到所述存储节点；

E．以所述模拟数据的访问频率访问分布存储到存储节点的模拟数据；

F．统计访问所述模拟数据所花费的时间能耗综合值，保存所述选择的预设存储算法与所述时间综合值的对应关系；

G．重复执行步骤D、E、F，直到得出所有所述多种预设存储算法对应的所述时间能耗综合值，提取所述多种预设存储算法对应的所述时间能耗综合值中的最小值对应的预设存储算法；

H．根据所述最小值对应的预设存储算法重新分布存储所述存储节点的数据。

在其中一个实施例中，所述数据的历史访问特征为所述数据的历史访问分布模型以及历史访问分布模型的特征值。

在其中一个实施例中，所述设置模拟数据的大小的步骤为：

设置模拟数据的大小为预设范围内的随机数。

在其中一个实施例中，所述设置模拟数据的大小的步骤为：

对所述存储节点的数据的历史访问记录进行处理，生成所述存储节点的数据的访问频率与大小的对应关系；

根据所述对应关系设置与所述模拟数据的访问频率对应的模拟数据的大小。

在其中一个实施例中，所述时间能耗综合值为访问所述模拟数据的响应时间以及访问过程中所述存储节点的执行时间、所述存储节点的能耗的综合值。

在其中一个实施例中，在步骤D之前，所述方法还包括：

计算所述存储节点的能耗、数据传输速度的综合值；

根据所述存储节点的能耗、数据传输速度的综合值将所述存储节点分层，标记所述存储节点所属的层级；

所述存储节点所属的层级越低，则所述存储节点的能耗、数据传输速度的综合值越小。

在其中一个实施例中，所述多种预设存储算法包括：最大访问频率优先算法、带控制参数的最大访问频率优先算法、最大访问量优先算法、最大峰值访问频率优先算法、最大峰值访问量优先算法中的两种以上；

所述最大访问频率算法为：将访问频率高的数据优先分布存储到所属层级低的存储节点；

所述带控制参数的最大访问频率优先算法为：将访问频率高的数据优先分布存储到所属层级低的存储节点，且设置所述存储节点的数据的总访问频率的阈值，控制所述存储节点的数据的总访问频率不超过阈值；

所述最大访问量优先算法为：将访问量高的数据优先存储分布到所属层级低的存储节点；数据的访问量为该数据的访问频率与数据大小的乘积；

所述最大峰值访问频率优先算法为：将峰值访问频率高的数据优先存储分布到所属层级低的存储节点；数据的峰值访问频率的计算过程为：将该数据的访问时段平均分成预设数量个时间片，分别计算每个时间片中该数据的访问频率，取其中最大的访问频率为该数据的峰值访问频率；

所述最大峰值访问量优先算法为：将峰值访问量高的数据优先存储分布到所属层级低的存储节点。数据的峰值访问量为该数据的峰值访问频率与该数据的大小的乘积。

基于此，还有必要提供一种能降低数据中心的能耗并提高数据中心的数据访问速度的数据分布存储系统。