[发明专利]一种数据存储方法及系统

说明书

本发明实施例提供一种数据存储方法及系统。所述方法包括：获取待存储数据及其数据名称，并将待存储数据按照预设大小进行切分获得多个数据分片及每个数据分片对应的数据分片序号；根据数据名称和数据分片序号，利用哈希算法获得数据分片对应的第二存储区域的第二区域序号；根据数据名称、数据分片序号、第二区域序号和数据分片的副本对应的副本序号，利用哈希算法获得数据分片的副本对应的第一存储区域中的磁盘序号；将数据分片的副本存储到磁盘序号对应的磁盘中。所述系统用于执行所述方法。本发明实施例通过利用哈希算法确定数据分片对应的第二存储区域以及数据分片副本对应的第一存储区域中的磁盘并进行存储，提高了数据存储的安全性。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据存储方法及系统。

背景技术

随着云计算和大数据等技术的推广，数据存储的需求呈现爆发式增长。分布式存储系统通过软件将分散存放于不同存储节点服务器上数据进行聚合，可实现存储节点服务器的通用性，使得存储系统的容量和性能可以方便的线性扩展。

为保障分布式存储系统中数据的高可靠性，一般的采用多副本冗余存放方式解决。首先将数据拆分为M个固定字节的分片，在数据存放时，每一个单独的数据分片都会存放R个副本，副本按照一定规则存放在R个不同的存储节点上，这R个存储节点就是一个副本逻辑组。当这R个存储节点同时出现故障时，数据分片必然会出现无法访问的情况，导致数据无法恢复。现有技术方案是按照server模式或者rack模式两种规则进行数据冗余存放，以下举例说明：

假设现有N个数据存储节点，数据冗余存放R个副本(RN)。如果数据完全随机存放，即随机放置于R个数据磁盘上，那么总计会存在副本逻辑组的数量为C(R,N)。那么，系统在存满数据情况下，随机有R个硬盘同时发生故障时，数据必然会出现丢失。一般情况下，分布式存储系统采用3副本模式，以取得数据可靠性、性能及经济性的平衡，下面的例子以3副本计算。

(1)server模式

采用server模式，即每个数据分片随机的从R个不同的服务器中分别各取一个磁盘进行存放。这种模式下，在存满数据情况下，随机有R个硬盘同时发生故障时，数据丢失的概率为该模式下副本逻辑组的总数量/完全随机模式下的副本逻辑组总数量，即数据丢失的概率L如公式(1)所示：

公式(1)中，代表从Srs个服务器节点中随机抽取R个的组合数，Sn^R代表每个服务器节点中的存储磁盘数量Sn求取R次方，代表从N个数据存储节点随机抽取R个的组合数。

因此，假设副本数为3，当有12台存储节点服务器、每台服务器5个硬盘，共有60个数据存储节点时，上述情形发生数据丢失的概率为80.36％；当存储节点数量为120个时，上述情形下发生数据丢失的概率为90.09％。

(2)rack模式

采用rack模式，即每个数据分片随机的从R个不同的机柜中分别各取一个服务器的磁盘进行存放。这种模式下，在存满数据情况下，随机有R个硬盘同时发生故障时，数据丢失的概率L如公式(2)所示：

公式(2)中，代表从Rk个机柜中随机抽取R个的组合数，Rn^R代表每个机柜中的存储磁盘数量Rn求取R次方，代表从N个数据存储节点随机抽取R个的组合数。

因此，假设副本数为3，当有3个机柜、每个机柜有4台存储节点服务器、每台服务器5个硬盘时，共有60个数据存储节点，上述情形发生数据丢失的概率为23.38％；当存储节点数量为120个时，上述情形下发生数据丢失的概率为56.97％。

由上可知，无论是按照server模式还是rack模式进行分布式存储系统的数据冗余存放，均会存在随着数据存储节点数量的增加，数据丢失的可能性会随之增加的问题。