[发明专利]分布式文件系统及其结点、存储方法和存储控制方法

说明书

技术领域

本发明涉及，尤其涉及一种分布式文件系统及其结点、存储方法和存储控制方法。

背景技术

在大规模的集群系统中，存储子系统的实现是一个很重要的方面。通常来说，数据的可靠性一般是用户最关心的问题，不同存储结构的实现都利用了大量的资源用来保证数据可靠性。在分布式文件系统中，这点尤其重要，因为一旦数据损坏，集群内所有的结点就都不能正常工作。但在考虑可靠性的同时，也要考虑性能的因素。因为之所以采用分布式文件系统来代替网络文件系统或本地文件系统，就是为了能够提供更高能力的并行数据访问。

分布式文件系统是一种在集群中对文件进行分布式存储，并实现并行读写的文件系统。与传统的文件系统比，其数据内容不存放在本地，而是存放在网络上的专门负责数据存储的存储结点上。一般来说，分布式文件系统有元数据管理结点，存储结点和服务结点组成，其中，元数据管理结点有一个或多个，存储结点有两个以上，集群中所有提供其他服务的结点都可作为分布式文件系统的服务结点。

现有的解决方案是利用分布式文件系统对数据进行多份备份来保证数据的可靠性。

在实现本发明实施例技术方案的过程中，发明人发现上述现有技术中至少存在如下问题：

资源浪费严重，整套存储系统最多只能利用一半的存储空间。

发明内容

本发明要解决的技术问题是提供一种分布式文件系统及其结点、存储方法和存储控制方法，存储空间利用率高。

为了解决上述问题，本发明提供了一种分布式文件系统的存储方法，所述分布式文件系统包括N个存储结点；所述方法包括：

根据预定分割策略将一待保存的文件切割成M个数据对象；

采用校验算法对所述M个数据对象进行校验，得到对应于所述待保存文件的K个校验数据对象，所述K大于等于1；

将与所述待保存文件对应的所述M个数据对象和所述K个校验数据对象保存在所述N个存储结点中S个可用的存储结点上，其中，S小于或等于N。

进一步地，所述将所述M个数据对象和所述K个校验数据对象保存在所述N个存储结点中S个可用的存储结点上的步骤包括：

将所述N个存储结点中的S个可用的存储结点分为第一存储结点和第二存储结点；

将所述M个数据对象保存在所述第一存储结点上；

将所述K个校验数据对象保存在所述第二存储结点上。

本发明还提供了一种分布式文件系统的存储控制方法，所述分布式文件系统包括N个存储结点、服务结点、以及元数据管理结点；所述方法包括：

接收所述服务结点发送的请求信息，所述请求信息针对第一待保存文件切割而成的M个数据对象和对应的K个校验数据对象请求存储结点；所述校验数据对象是采用校验算法对所述M个数据对象进行校验得到的结果，所述K大于或等于1；

根据所述请求信息，获得所述N个存储结点的状态，从所述N个存储结点中找出S个可用的存储结点，其中，S小于或等于N；

按照预定储存策略将所述M个数据对象和K个校验数据对象分配给所述S个可用的存储结点，产生一个分配结果；

反馈所述分配结果。

进一步地，所述按照预定储存策略将所述M个数据对象和K个校验数据对象分配给所述S个可用的存储结点的步骤包括：

按照所述预定储存策略将所述S个可用的存储结点分为第一存储结点和第二存储结点；

按照所述预定储存策略将所述M个数据对象分配给所述第一存储结点，将所述K个校验数据对象分配给所述第二存储结点。

本发明还提供了一种分布式文件系统，包括：

N个存储结点，用于存储数据；

元数据管理结点；

服务结点，用于将一待保存的文件根据预定分割策略切割成M个数据对象，采用校验算法对所述M个数据对象进行校验，得到对应于所述待保存文件的K个校验数据对象，所述K大于或等于1；向所述元数据管理结点请求针对所述待保存文件的存储结点；

所述元数据管理结点用于根据所述服务结点的请求，获得所述存储结点的状态，将S个可用的存储结点返回给所述服务结点，并按照预定储存策略控制所述服务结点将与所述待保存文件对应的所述M个数据对象和所述K个校验数据对象保存在所述N个存储结点中S个可用的存储结点上；其中，S小于或等于N。

进一步地，所述服务结点还用于当从所述存储结点读取文件时，如果保存数据对象的存储结点出现异常，则采用校验算法对所读取到的数据对象和所述校验数据对象进行校验，得到出现异常的存储结点上存放的数据对象。