[发明专利]分布式存储池的模糊平衡方法及系统

说明书

技术领域

本发明涉及分布式存储技术领域，尤其涉及一种分布式存储池的平衡方法及系统。

背景技术

在大规模的分布式存储系统中，所需数据存储单元（存储池）往往是根据具体需求的增长而逐步添加的，这种使用模式导致了新、旧存储池的可用空间不平衡。同时在大部分的使用场景中，写入存储系统的数据尺寸相差很大（从几个KB到几个GB不等）。

数据迁移（Data Migration）是大型数据环境中常用的一种提高数据服务效率的机制。数据迁移的主要目的是使数据的分布随着用户访问模式的变化而动态调节，使得各个数据存储单元的负载均衡，同时使每项数据获得更好的输入/输出性能。

现有的分布式存储存储系统中的平衡概念都是针对存储池的可用空间来实现的。现有的在各个存储池存储空间相等的情况下，文件迁移主要是进行各存储池之间可用存储空间的平衡，一般没有考虑文件数目不平衡这个因素，因此并没有实现真正意义上的存储资源平衡。而不同尺寸的文件的分布不均衡将导致不同存储池的文件数目相差很大，导致各个分布式系统的负载不平衡，引起单点失效，影响了数据的服务质量和系统的稳定性。

发明内容

本发明的目的在于提供一种分布式存储池的模糊平衡方法，用于解决现有的分布式存储系统，没有实现真正意义上的存储资源平衡，不同存储池的文件数目相差很大，导致各个分布式系统的负载不平衡，引起单点失效，影响了数据的服务质量和系统的稳定性的问题。

本发明一种分布式存储池的模糊平衡方法包括：对各存储池中所有的文件按大小进行分类；计算该各存储池的可用空间以及平均可用空间，将该可用空间大于该平均可用空间的该存储池作为迁入池，将该可用空间小于平均可用空间的该存储池作为迁出池，该迁出池仅供将文件迁出，该迁入池仅供将文件迁入；计算各该存储池中的每类文件的文件比重，该文件比重为一该存储池中的一类文件的数目与各该存储池的该类文件的总数目的比值；设定一迁入比重以及一迁出比重，其中迁入比重以及迁出比重均大于0且小于1；从各该迁出池向各该迁入池进行文件迁移，并在完成文件迁移后，使得每一存储池的可用空间与该平均可用空间之差的绝对值小于等于一可用空间偏差阈值；其中，在文件迁移过程，如一该迁出池的一类文件的文件比重小于该迁出比重，则该迁出池停止迁出该类文件，如一该迁入池的一类文件的文件比重大于该迁入比重，则该迁入池停止迁入该类文件。

本发明一种分布式存储池的模糊平衡系统，用于实现上述的分布式存储池的模糊平衡方法，该分布式存储池的模糊平衡系统包括：分类器，用于对各存储池中所有的文件按大小进行分类；平衡器，用于计算该各存储池的可用空间以及平均可用空间，将该可用空间大于该平均可用空间的该存储池作为迁入池，将该可用空间小于平均可用空间的该存储池作为迁出池，该迁出池仅供将文件迁出，该迁入池仅供将文件迁入；执行器：用于制定一从各该迁出池向各该迁入池进行文件迁移的迁移计划，并执行该迁移计划，该迁移计划包括：在文件迁移过程，如一该迁出池的一类文件的文件比重小于一迁出比重，则该迁出池停止迁出该类文件，如一该迁入池的一类文件的文件比重大于一迁入比重，则该迁入池停止迁入该类文件；并在完成文件迁移后，使得每一存储池的可用空间与该平均可用空间之差的绝对值小于等于一可用空间偏差阈值。

综上所述，本发明的分布式存储池的模糊平衡方法，已知迁移前的数据分布，根据每个存储池的可用空间大小和文件数目，注重存储池的存储空间和文件数目的平衡，在移动最少文件和不来回移动文件的前提下，在存储空间和文件数目两者上都获得较好的平衡，实现了数据在存储池之间的二维分布平衡。

附图说明

图1为本发明分布式存储池的模糊平衡方法的迁出池与迁入池的文件迁移过程示意图。

具体实施方式

本发明分布式存储池的模糊平衡方法的一实施例主要包括：

A.对各存储池中所有的文件按大小进行分类；

其分类方法的一实施例为，设定多个尺寸区间，多个尺寸区间的覆盖范围均互不重叠，将各存储池中所有的文件根据大小与文件尺寸空间一一对应，即位于同一文件尺寸空间范围内文件为同一种文件类型，而位于不同的文件尺寸空间范围内的文件为不同文件类型。

B.将存储池分为迁入池以及迁出池，包括：

根据平均可用空间和本存储池的当前可用空间，决定某个存储池是属于迁入池，还是迁出池，具体为：