[发明专利]一种云环境下数据存储方法、装置及系统

说明书

本申请公开了一种云环境下数据存储方法，包括：接收客户端发送的申请存储数据的请求；根据申请存储数据的请求从所有数据节点的剩余存储空间和I/O负载率的数据中，查询出第i个数据节点的剩余存储空间和第一I/O负载率；第i个数据节点是所有数据节点的剩余存储空间中的剩余存储空间排在第i位的数据节点；将第i个数据节点的剩余存储空间返回至所述客户端，以供客户端根据第i个数据节点的剩余存储空间将数据块发送至第i个数据节点；比较第一I/O负载率是否小于设定阈值；若第一I/O负载率小于设定阈值，则向第i个数据节点发送存储指令以供第i个数据节点存储客户端发送的数据块。在客户端存储文件时同时考虑数据节点的剩余存储空间及I/O负载率，提升存储系统的性能。

技术领域

本发明属于云存储领域，具体涉及一种云环境下数据存储方法、装置及系统。

背景技术

近年来，随着处理器和网络等基础设备性能取得飞速发展，需要处理的数据量快速增长的同时，对海量存储系统的性能也提出了巨大挑战。在当今的存储领域，尤其是针对大势所趋的虚拟化，存储技术的变革可以用“颠覆”来形容，其中最主要的就是分布式存储技术的引进。

HDFS就是为解决海量数据存储而设计的分布式存储技术。采用多副本策略进行数据的容错和负载均衡，每个副本为一个块，存储的数据以块为单元，复制多份随机存储在集群的多个节点。HDFS具有高容错、高扩展、低成本等优势。

HDFS存储节点的选择具有随机性，这会造成性能优越的存储设备处理的任务少而性能低的存储设备超负荷工作的情况发生，影响整体存储系统的性能。同时数据块在集群中的分布不均匀，在负载均衡时，HDFS会随机选择数据节点中的数据块，有可能将访问频率高的数据块集中到某几个数据节点上，就会导致该数据节点的负载过重，使得存储系统性能大大降低。

发明内容

本申请提供一种云环境下数据存储方法，以解决现有的云环境下存储系统的性能较低的问题。本申请另外提供一种云环境下数据存储装置，一种云环境下数据存储系统。

本申请提供一种云环境下数据存储方法，包括：

接收客户端发送的申请存储数据的请求；

根据所述申请存储数据的请求从所有数据节点的剩余存储空间和I/O负载率的数据中，查询出第i个数据节点的剩余存储空间和第一I/O负载率；所述第i个数据节点是所述所有数据节点中剩余存储空间排在第i位的数据节点；

将所述第i个数据节点的剩余存储空间返回至所述客户端，以供所述客户端根据所述第i个数据节点的剩余存储空间将数据块发送至所述第i个数据节点；

比较所述第一I/O负载率是否小于设定阈值；

若所述第一I/O负载率小于所述设定阈值，则向所述第i个数据节点发送存储指令以供所述第i个数据节点存储所述客户端发送的数据块。

可选的，所述第i个数据节点的所述第一I/O负载率P_i通过以下公式计算得出：

P_i＝ω₁O_i+ω₂R_i+ω₃t_i；

其中O_i表示归一化后所述第i个数据节点实际的读写速度；R_i表示归一化后所述第i个数据节点实际的吞吐量；t_i表示归一化后所述第i个数据节点实际的等待时间；ω₁、ω₂、ω₃分别为读写速度、吞吐量和等待时间的权重值，且∑ω_i(i＝1，2，3)＝1。

可选的，所述归一化后所述第i个数据节点实际的读写速度O_i通过以下公式计算得出：