[发明专利]分布式文件存储系统及文件存储方法

说明书

技术领域

本发明涉及文件存储领域，更具体地，涉及一种分布式文件存储系统及用于所述分布式文件存储系统的文件存储方法。

背景技术

随着数字技术的发展，需要存储的文件量越来越大。对于多年积累的海量的样本文件，如果使用单台存储设备，则该单台存储设备一方面很难具备足够大的存储容量，另一方面还会成为整个数据存取的单点瓶颈。

一种有效的存储海量样本文件的方式是将样本文件存储到分布式存储系统中。在分布式存储系统中，一方面可以通过增加计算机来加大系统的总存储容量，满足对大容量存储的需求；另一方面网络中的各台计算机可以分别处理存储在当前计算机上的文件，使得在满足存储需求的同时，具有最大化的计算能力。

但是网络中的不同计算机的存储容量有大有小，通常存在较大的差别，此时需要一种有效机制能够统一利用网络中所有计算机上的存储容量。这种机制还需要具备可扩展性，对于新加入到网络中的计算机，可以平滑的将此计算机上的存储容量纳入到整个存储系统中。

发明内容

为了实现上述目的，本发明提出了一种分布式文件存储系统以及用于所述分布式文件存储系统的文件存储方法。本发明提出可以根据网络中的存储容量最小的计算机来确定最小存储管理单元。于是，网络中的每台计算机的存储容量可以统一按最小存储管理单元划分为一个或多个存储单元，并且每个存储单元可被指定对应的优先级。本发明还提出，以目录表达最小存储管理单元。于是网络中的每台计算机至少包括一个一级目录，其中每个一级目录可以表示一个存储单元。本发明还提出在一级目录下可以增设二级甚至三级或更多的次级目录，这些目录的名称可以与其中存储的文件名相关联。这样可以加快文件的检索定位。

根据本发明的一方面，提供了一种分布式文件存储系统，其中存储的文件的文件名为文件的SHA1值，所述系统包括：多个存储节点；管理节点，其与所述多个存储节点通信耦合，并且管理所述多个存储节点；其中，所述存储节点以一级目录表达最小存储管理单元，所述存储节点的存储容量按最小存储管理单元划分为一个或多个存储单元并将其按优先级顺序编号，以及所述存储节点的次级目录的名称以其存储的文件的文件名中的预定位置的一个或多个字母来表示。

在本发明的一些实施例中，次级目录可以包括二级目录和三级目录，所述二级目录和三级目录的名称分别以存储的文件的文件名的前m个和次m个字母表示，所述m是大于或等于1的正整数。

在本发明的一些实施例中，所述分布式文件存储系统还包括存储单元选择模块，配置为：针对要存储的或要移动的文件，选择具有指定的优先级的存储单元中的与其文件名相符的目录作为目标存储位置。

在本发明的一些实施例中，所述分布式文件存储系统还包括存储容量均衡模块，配置为：在特定存储节点的特定优先级的存储单元的容量占用率超过第一预定阈值时，触发数据均衡进行数据下移或上移以将所述特定存储节点的所述特定优先级的存储单元中的部分文件下移到次一优先级的存储单元或上移到上一优先级的存储单元，直到所述特定存储节点的所述特定优先级的存储单元的容量占用率降到第二预设阈值。

在本发明的一些实施例中，所述存储容量均衡模块进一步配置为：在所述特定存储节点的特定优先级的存储单元的容量占用率超过第一预设阈值并且无上一优先级或上一优先级的存储单元的容量占用率大于第三预设阈值时，触发数据均衡进行数据下移以将所述特定存储节点的所述特定优先级的存储单元中的部分文件下移到次一优先级的存储单元。

优选地，所述存储容量均衡模块进一步配置为：当数据下移过程中，所述次一优先级的存储单元中的容量占用率达到第五预设阈值的存储单元不再参与数据均衡。

在本发明的一些实施例中，所述存储容量均衡模块进一步配置为：在所述特定存储节点的特定优先级的存储单元的容量占用率超过第一预设阈值并且上一优先级的存储单元的容量占用率小于第四预设阈值时，触发数据均衡进行数据上移以将所述特定存储节点的所述特定优先级的存储单元中的部分文件上移到上一优先级的存储单元。

优选地，所述存储容量均衡模块还配置为：当在数据上移过程中，所述上一优先级的存储单元中的容量占用率达到第六预设阈值的存储单元不再参与数据均衡。

在本发明的一些实施例中，所述管理节点以数据库的形式来维护各个存储节点的配置信息、存储容量信息等，并且负责发布调度指令。