[发明专利]一种数据存储方法及装置

说明书

技术领域

本发明涉及分布式存储技术领域，特别涉及一种数据存储方法及装置。

背景技术

分布式存储系统可以将数据分散存储到多台独立设备上，如图1所示该系统通常由至少一个控制节点和多个数据存储节点构成，比如分布式存储系统HDFS中，包括至少一个控制节点NameNode，多个数据存储节点DataNode，其中，控制节点用于为分布式存储系统中的数据分配数据存储节点，数据存储节点用于存储数据。

随着硬件的升级，数据存储节点中存储盘的类型不再局限于一种，可以为多种，比如数据存储节点可以同时配置有随机读性能不同的存储盘，存储盘类型多样化的数据存储节点与控制节点一起构成了分布式异构存储系统。

为了满足分布式异构存储系统对数据冗余度的要求，该系统中的控制节点会对一份数据制作多个副本，并为每个副本分配数据存储节点，数据存储节点对副本进行存储。现有技术中，数据存储节点将副本存储到本地后，便不再对该副本的存储位置做出调整，不能够充分利用该数据存储节点中不同类型的存储盘。

发明内容

为了解决上述问题，本发明实施例公开了一种数据存储方法及装置，具体技术方案如下：

一种数据存储方法，应用于分布式异构存储系统中的控制节点，所述系统包括：至少一个控制节点和多个数据存储节点，所述方法包括：

从存储有目标数据的各数据存储节点中，获取预设的第一时长内所述目标数据的访问总量，所述目标数据的访问总量为：目标数据在所述各数据存储节点中被访问次数之和；

根据获取到的访问总量和本地预先记录的、在获取所述目标数据的访问总量前的M个预设的第一时长内所述目标数据的M个访问总量，获得在获取所述目标数据的访问总量后的预设的第二时长内，目标数据的访问总量变化趋势，其中，M为预设的第一数量值；

在访问总量大于预设的第一阈值、且预设的第二时长内目标数据的访问总量变化趋势为上升趋势的情况下，向存储有目标数据的数据存储节点发送第一控制指令；

在访问总量低于预设的第二阈值、且预设的第二时长内目标数据的访问总量变化趋势为下降趋势的情况下，向存储有目标数据的数据存储节点发送第二控制指令；

其中，所述第一控制指令用于控制数据存储节点将目标数据转移到本地的高性能存储盘中，所述第二控制指令用于控制数据存储节点将目标数据转移到本地的低性能存储盘中，所述预设的第二阈值小于所述预设的第一阈值。

可选的，所述从存储有目标数据的各数据存储节点中，获取预设的第一时长内所述目标数据的访问总量，包括：

根据预设的时间周期，从存储有目标数据的各数据存储节点中，周期性地获取预设的第一时长内所述目标数据的访问总量。

可选的，所述根据获取到的访问总量和本地预先记录的、在获取所述目标数据的访问总量前的M个预设的第一时长内所述目标数据的M个访问总量，获得在获取所述目标数据的访问总量后的预设的第二时长内，目标数据的访问总量变化趋势，包括：

使用最小二乘算法，对获取到的访问总量和本地预先记录的、在获取所述目标数据的访问总量前的M个预设的第一时长内所述目标数据的M个访问总量进行处理，拟合出一条表达式为y＝ax+b的直线；

根据系数a的取值，获得在获取所述目标数据的访问总量后的预设的第二时长内，目标数据的访问总量变化趋势；

其中，a>0时，目标数据的访问总量变化趋势为上升趋势，a<0时，目标数据的访问总量变化趋势为下降趋势。

可选的，所述向存储有目标数据的数据存储节点发送第一控制指令，包括：

从存储有目标数据的各数据存储节点中，确定出：在预设的第一时长内被访问次数最多的目标数据所在的数据存储节点；

向所确定的数据存储节点发送第一控制指令。

可选的，所述方法还包括：

根据所述目标数据的访问总量变化趋势，确定出：在获取所述目标数据的访问总量后的预设的第二时长内目标数据的访问总量；

获取存储有目标数据的各数据存储节点中存储有目标数据的存储盘的随机读性能的参数值，并对获取到的多个参数值进行求和运算，得到随机读性能的总参数值；

对所确定出的访问总量与所述随机读性能的总参数值进行比较，如果所确定出的访问总量大于所述随机读性能的总参数值，则向在预设的第一时长内被访问次数次多的目标数据所在的数据存储节点发送第一控制指令。

可选的，所述向存储有目标数据的数据存储节点发送第二控制指令，包括：