[发明专利]分布式文件系统的存储方法及装置

说明书

技术领域

本发明涉及通信领域，具体而言，涉及一种分布式文件系统（Distributed File System，简称为DFS）的存储方法及装置。

背景技术

分布式存储通过将数据分布保存在多个服务器的多个磁盘上来实现数据的海量存储和快速部署。随着存储设备的类型更新，新的存储设备会不断地加入到磁盘集群中，分布式存储必须支持对这些存储设备的即插即用。

不同的存储设备的容量和性能各不相同，如何让它们的空间和性能得到最大程度的利用是需要着重关注的问题。原有的磁盘读写策略主要关注磁盘与文件访问服务器之间的空间均衡，或采用随机轮选策略。现有的其他负载均衡技术主要关注文件写入时根据文件访问服务器的负荷信息决定写文件时文件访问服务器的选取。

但是，现有的负载均衡策略并没有解决文件读出时热点文件的高频次访问带来的磁盘负载的问题，系统存在以下不足：不同的存储设备能够承受的每秒进行读写操作的次数（Input/Output Operation Per Second，简称为IOPS）不同。最初，存储文件分片是根据磁盘空间均衡策略或随机策略选取的，同样的负荷在高性能存储设备上能稳定运行，在低性能存储设备上却可能导致读延迟现象。

在高低性能存储设备共存的条件下，低性能的存储设备将成为分布式存储设备的短板，在进行文件读取操作时表现尤为明显。正是由于低性能存储设备的短板效应，不同存储设备间的性能差异将使磁盘集群的整体性能降低，导致高性能存储设备的性能不能得到最大化的利用。

发明内容

本发明提供了一种分布式文件系统的存储方法及装置，以至少解决相关技术中，文件读出时热点文件的高频次访问带来的磁盘负载的问题。

根据本发明的一个方面，提供了一种分布式文件系统的存储方法，包括：确定预设时间内对同一文件的访问次数；根据访问次数将文件迁移到比当前存储设备性能高的存储设备中。

优选地，根据访问次数将文件迁移到比当前存储设备性能高的存储设备中包括：确定访问次数超过预设阈值；在所有存储设备中确定比当前存储设备性能高的存储设备，并且存储设备存在空闲块；将文件迁移到存储设备中。

优选地，在确定访问次数超过预设阈值之后，上述方法还包括：将文件的访问热度属性设置为热门。

优选地，在确定预设时间内对同一文件的访问次数之前，上述方法还包括：分别确定分布式文件系统内的各个存储设备的IOPS极限值与当前IOPS值；分别计算各个存储设备的当前IOPS值与IOPS极限值的比值；分别比较比值与预先设定的临界值；如果比值大于临界值，确定需要对当前存储设备中的访问次数高于预设阈值的文件进行迁移。

优选地，在确定需要对当前存储设备中的访问次数高于预设阈值的文件进行迁移之后，上述方法还包括：接收到对文件的读请求，将文件的访问次数加1。

优选地，在确定预设时间内对同一文件的访问次数之前，上述方法还包括：文件访问服务器计算其对应的存储设备的IOPS值；文件访问服务器按照预定周期向元数据服务器上报IOPS值。

优选地，在根据访问次数将文件迁移到比当前存储设备性能高的存储设备中之后，上述方法还包括：按照预定周期检查各个存储设备的当前IOPS值与IOPS极限值的比值是否不大于临界值；如果不大于临界值，停止对当前存储设备中的文件进行迁移；如果大于临界值，继续对当前存储设备中的访问次数高于预设阈值的文件进行迁移。

根据本发明的另一个方面，提供了一种分布式文件系统的存储装置，应用于元数据服务器，包括：第一确定模块，用于确定预设时间内对同一文件的访问次数；迁移模块，用于根据访问次数将文件迁移到比当前存储设备性能高的存储设备中。

优选地，迁移模块包括：第一确定单元，用于确定访问次数超过预设阈值；第二确定单元，用于在所有存储设备中确定比当前存储设备性能高的存储设备，并且存储设备存在空闲块；迁移单元，用于将文件迁移到存储设备中。

优选地，上述装置还包括：第二确定模块，用于分别确定各个存储设备的IOPS极限值与当前IOPS值；计算模块，用于分别计算各个存储设备的当前IOPS值与IOPS极限值的比值；比较模块，用于分别比较比值与预先设定的临界值；第三确定模块，用于在比值大于临界值的情况下，确定需要对当前存储设备中的访问次数高于预设阈值的文件进行迁移。