[发明专利]一种分布式存储的纠删码实现方法及装置

说明书

本发明提供一种分布式存储系统纠删码实现方法及装置，所述方法包括：接收目标客户端发送的针对目标目录的目录创建指令，目录创建指令中包括目标目录对应的纠删策略；根据纠删策略确定目标目录对应的多个目标子目录，以及各目标子目录关联的目标存储服务节点；其中，同一目标目录对应的多个目标子目录关联的目标存储服务节点不同；存储目标目录、目标子目录以及目标存储服务节点三者的对应关系，以使客户端根据目标目录、目标子目录以及目标存储服务节点三者的对应关系对目标目录进行文件创建和/或数据读写。应用本发明实施例可以降低元数据服务器的负荷，提高存储节点空间的纠删策略设定的灵活性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种分布式存储的纠删码实现方法及装置。

背景技术

分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

监控系统中读写流量相比普通应用来说要大很多，因此，监控系统中的分布式存储系统基本采用对象存储的scaleout(横向扩展)模型，其核心是将数据通路(数据读或写)和控制通路(元数据)分离，通过元数据管理服务器、存储服务节点、客户端三个部分协调工作来构建存储系统，每个对象存储设备具有一定的智能，能够自动管理其上的数据分布。

元数据管理服务器(Meta Data Server，简称MDS)控制客户端与存储节点的交互，为客户端提供元数据，主要是文件的逻辑视图，包括文件与目录的组织关系、每个文件所对应的存储节点等，即在存储系统上构建一个文件系统结构，包括限额控制、目录和文件的创建和删除、访问控制等。

然而实践发现，上述采用对象存储的scaleout模型的分布式存储系统中，元数据服务器需要维护系统中存储的每一个文件与该文件在存储服务节点中每一个chunk(数据块)的对应关系，元数据负载过大；此外，存储节点组成纠删模式后，这几个存储节点就绑定了某一种纠删策略，如6+3、6+2等，纠删策略的设定的灵活性较差。

发明内容

本发明提供一种分布式存储的纠删码实现方法及装置，以解决现有分布式存储系统中元数据服务器负荷过大，且纠删策略设定灵活性较差的问题。

根据本发明实施例的第一方面，提供一种分布式存储系统纠删码实现方法，包括：

接收目标客户端发送的针对目标目录的目录创建指令，所述目录创建指令中包括所述目标目录对应的纠删策略；

根据所述纠删策略确定所述目标目录对应的多个目标子目录，以及各目标子目录关联的目标存储服务节点；其中，同一目标目录对应的多个目标子目录关联的目标存储服务节点不同；

存储所述目标目录、所述目标子目录以及所述目标存储服务节点三者的对应关系，以使客户端根据所述目标目录、所述目标子目录以及所述目标存储服务节点三者的对应关系对所述目标目录进行文件创建和/或数据读写。

根据本发明实施例的第二方面，提供一种分布式存储系统纠删码实现方法，包括：

向元数据服务器发送针对目标目录的目录创建指令，所述目录创建指令中包括所述目标目录对应的纠删策略，以使所述元数据服务器根据所述纠删策略确定所述目标目录对应的多个目标子目录，以及各目标子目录关联的目标存储服务节点；

根据所述目标目录、所述目标子目录以及所述目标存储服务节点三者的对应关系，对所述目标目录进行文件创建和/或数据读写。

根据本发明实施例的第三方面，提供一种分布式存储系统纠删码实现装置，包括：