[发明专利]分布式文件系统的数据迁移方法、装置及元数据服务器

说明书

本发明公开了一种分布式文件系统的数据迁移方法、装置及元数据服务器，其中分布式文件系统的数据迁移方法包括：根据文件分片被访问的字节数和文件分片大小统计文件分片的访问热度；根据文件分片的访问热度在不同性能的存储设备上迁移文件分片。通过本发明，提高了分布式文件系统的存储设备的空间和性能利用率。

技术领域

本发明涉及通信领域，具体而言，涉及一种分布式文件系统的数据迁移方法、装置及元数据服务器。

背景技术

分布式文件系统通过将数据分布保存在多个服务器的多个磁盘上来实现数据的海量存储和快速部署。随着存储设备的类型更新，新的存储设备不断地加入到磁盘集群中，不同的存储设备性能存在差异。

在分布式文件系统中，存储的文件中只有少量的文件是经常访问的，即文件访问呈现局部性。另外，文件访问局部性还体现在文件本身只有部分内容被经常访问。

经常访问的文件需要较高的性能，而相关技术中没有有效的机制兼顾存储设备的空间和性能。因此，存储设备的空间和性能利用率不高，针对该问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中存储设备的空间和性能利用率不高的问题，本发明提供了一种分布式文件系统的数据迁移方法、装置及元数据服务器，以至少解决上述问题。

根据本发明的一个方面，提供了一种分布式文件系统的数据迁移方法，包括：根据文件分片大小和所述文件分片被访问的字节数统计所述文件分片的访问热度；以及根据所述文件分片的访问热度在不同性能的存储设备上迁移所述文件分片。

优选地，根据所述文件分片的访问热度在不同的存储设备上迁移所述文件分片包括：如果所述文件分片的访问热度大于第一阈值，将所述文件分片从性能低的存储设备迁移到性能高的存储设备；和/或如果所述文件分片的访问热度小于第二阈值，将所述文件分片从高性能的存储设备迁移到性能低的存储设备。

优选地，根据文件分片大小和所述文件分片被访问的字节数统计所述文件分片的访问热度包括：根据所述文件分片被访问的字节数、所述文件分片大小以及预设的热度系数统计所述文件的访问热度。

优选地，所述文件分片被访问的字节数越大且所述文件分片大小越小，统计得到的所述文件分片的访问热度越大。

根据本发明的另一个方面，提供了一种分布式文件系统的数据迁移装置，包括：统计模块，用于根据文件分片大小和所述文件分片被访问的字节数统计所述文件分片的访问热度；以及，迁移模块，用于根据所述文件分片的访问热度在不同性能的存储设备上迁移所述文件分片。

优选地，所述迁移模块包括：第一迁移单元，用于在所述文件分片的访问热度大于第一阈值的情况下，将所述文件分片从性能低的存储设备迁移到性能高的存储设备；和/或，第二迁移单元，用于在所述文件分片的访问热度小于第二阈值的情况下，将所述文件分片从高性能的存储设备迁移到性能低的存储设备。

优选地，所述文件分片被访问的字节数越大且所述文件分片大小越小，统计得到的所述文件分片的访问热度越大。

根据本发明的再一个方面，提供了一种元数据服务器，包括：处理器；统计模块，用于根据文件分片大小和所述文件分片被访问的字节数统计所述文件分片的访问热度；以及，迁移模块，用于根据所述文件分片的访问热度在不同性能的存储设备上迁移所述文件分片。

优选地，所述迁移模块，用于根据所述文件分片的访问热度向文件访问服务器发送迁移通知消息，通知所述文件访问服务器迁移所述文件分片。

优选地，所述文件分片被访问的字节数越大且所述文件分片大小越小，统计得到的所述文件分片的访问热度越大。