[发明专利]一种分布式数据存储的方法及相关装置

说明书

本发明涉及分布式存储领域，提供了一种分布式数据存储的方法及相关装置。一种分布式数据存储的方法包括：获取存储集群数据，其中，存储集群数据包括N个存储节点的位置、N个存储节点的进程和N个存储节点的负载量，N为正整数；对待存储数据进行处理以得到M个数据块，其中，M为不大于N的正整数；在存储集群数据中查找与M个数据块匹配的M个存储节点的位置，其中，M个数据块与M个存储节点的位置一一对应，M个存储节点属于N个存储节点；根据M个存储节点的位置将M个数据块存储在M个存储节点中，其中，M个数据块与M个存储节点一一对应。本发明实施例的技术方案，提高了分布式存储系统的可靠性和效率。

技术领域

本发明涉及分布式存储领域，尤其是一种分布式数据存储的方法及相关装置。

背景技术

传统的网络存储系统采用集中式的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，系统的可靠性和安全性都通过存储服务器体现，为了满足大规模存储应用的需要，越来越多的存储系统采用分布式存储系统，分布式存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用元数据服务器定位存储信息。

目前的分布式存储系统中，终端存储数据时，先向元数据服务器查找存储节点的位置，然后终端根据存储节点的位置将待存储数据存储在存储节点中，这样当元数据服务器崩溃或宕机时，分布式存储系统就不能工作了，分布式存储系统的可靠性较低，并且，当多个终端存储数据时，多个终端都需要向元数据服务器发送查找存储节点位置请求，元数据服务器的工作压力较大，分布式存储系统的效率较低。

发明内容

本发明实施例提供分布式数据存储的方法及相关装置，以期提高分布式存储系统的可靠性和效率。

本发明第一方面提供一种分布式数据存储的方法，包括：

获取存储集群数据，其中，所述存储集群数据包括N个存储节点的位置、所述N个存储节点的进程和所述N个存储节点的负载量，N为正整数；

对待存储数据进行处理以得到M个数据块，其中，M为不大于N的正整数；

在所述存储集群数据中查找与所述M个数据块匹配的M个存储节点的位置，其中，所述M个数据块与所述M个存储节点的位置一一对应，所述M个存储节点属于所述N个存储节点；

根据所述M个存储节点的位置将所述M个数据块存储在所述M个存储节点中，其中，所述M个数据块与所述M个存储节点一一对应。

优选的，对所述待存储数据进行处理以得到所述M个数据块包括将所述待存储数据平均划分为所述M个数据块，所述M个数据块中每个数据块的大小为K，K包括4MB、8MB、16MB、32MB的任意一种。

可选的，对所述待存储数据进行处理以得到所述M个数据块还包括将所述待存储数据中的数据按照关联度划分为所述M个数据块，所述M个数据块中每个数据块的数据相互关联。

本发明第二方面提供了一种分布式数据存储的装置，包括：

获取模块，用于获取存储集群数据，其中，所述存储集群数据包括N个存储节点的位置、所述N个存储节点的进程和所述N个存储节点的负载量，N为正整数；

处理模块，用于对待存储数据进行处理以得到M个数据块，其中，M为不大于N的正整数；

查找模块，用于在所述存储集群数据中查找与所述M个数据块匹配的M个存储节点的位置，其中，所述M个数据块与所述M个存储节点的位置一一对应，所述M个存储节点属于所述N个存储节点；

存储模块，用于根据所述M个存储节点的位置将所述M个数据块存储在所述M个存储节点中，其中，所述M个数据块与所述M个存储节点一一对应。