[发明专利]一种分布式文件系统存储文件的方法及系统

说明书

技术领域

本发明涉及分布式文件系统技术，尤其涉及一种分布式文件系统存储文件的方法及系统。

背景技术

通过一组松散集成的计算机软件和硬件连接起计算机分布式系统，计算机分布式系统通过高度紧密地协作来完成相关计算工作。目前，由于个人及企业数据的爆炸式增长，部署在集群上的分布式文件系统也越来越多，其容量也越来越大。并且由于系统应用的千差万别，其文件的读写特征和大小等也是千差万别，这给分布式文件系统造成了很大的压力。

目前，一般的分布式文件系统都是基于固定的可调整的条带，在文件写入分布式文件系统之前，条带是固定的。其中，条带（strip）是把连续的数据分割成相同大小的数据块，把每段数据分别写入到阵列中的不同磁盘上的方法。被写入条带的文件可以分割成多块数据对象，这些数据对象可以存储在条带中。但是，由于目前条带大小是固定的，会存在一个较小容量的数据对象占据较大条带的问题，从而造成了磁盘空间的浪费。并且会降低分布系文件系统的性能。

发明内容

为了解决上述技术问题，本发明提供了一种分布式文件系统存储文件的方法及系统，能够自适应地动态调整条带大小，避免磁盘空间的浪费，从而提高分布式文件系统的性能及其适应性，并且拓宽分布式文件系统的应用范围。

为了达到本发明的目的，本发明提供了一种分布式文件系统存储文件的方法，包括：

采集文件的属性参数；

根据文件的属性参数，生成调整条带的自适应策略；

根据所述自适应策略，来调整条带的大小，并在条带中存储文件。

优选地，所述采集文件的属性参数包括：周期性地采集所述文件属性参数；或者，按照需求来触发地采集所述文件的属性参数。

优选地，其中所述文件属性参数至少包括：文件块的大小、和/或文件块的数量、和/或读写比重、和/或读写属性、和/或读写频率。

优选地，所述生成自适应策略至少包括：统计文件属性参数，根据自适应算法，查找与数据对象容量相匹配的条带；如果存在相匹配的条带，则在该条带中存储该数据对象；否则继续运行自适应算法，查找可以割裂或合并的条带，所述割裂或合并后的条带容量与数据对象的容量匹配。

优选地，所述调整条带的大小是指通过调用文件系统接口来调整条带。

本发明还提供一种分布式文件系统存储文件的系统，包括：

文件属性参数采集设备，用于采集文件的属性参数，并将所述文件的属性参数发送给自适应策略引擎设备；

自适应策略引擎设备，用于根据所述文件的属性参数，生成调整条带的自适应策略，并将所述自适应策略传递给策略执行设备；

策略执行设备，用于执行所述自适应策略，以动态地调整条带的大小，并在条带中存储文件。

优选地，所述文件的属性参数采集设备用于：周期性地采集所述文件的属性参数；或者，按照需求来触发地采集所述文件的属性参数。

优选地，其中所述文件属性参数至少包括文件块的大小、和/或文件块的数量、和/或读写比重、和/或读写属性、和/或读写频率。

优选地，所述自适应策略引擎设备用于：统计文件属性参数，根据自适应算法，查找与数据对象容量相匹配的条带；.如果存在相匹配的条带，则在该条带中存储该数据对象；否则继续运行自适应算法，查找可以割裂或合并的条带，所述割裂或合并后的条带容量与数据对象的容量匹配。

优选地，所述策略执行设备，用于通过调用文件系统接口来调整条带。

本发明方案通过采集文件的属性参数；根据文件的属性参数，生成调整条带的自适应策略；根据所述自适应策略，来调整条带的大小，并在条带中存储文件，从而解决了按需存放文件以减少存储空间的浪费，并提高了存储空间的可利用率。并且能够自适应地动态调整条带大小，避免磁盘空间的浪费，从而提高分布式文件系统的性能及其适应性，并且拓宽分布式文件系统的应用范围。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明分布式文件系统存储文件的方法的流程图；

图2为本发明分布式文件系统存储文件的系统的示意图；

图3为本发明自适应调整条带功能的示意图。