[发明专利]一种小文件的存取方法、系统及控制节点和存储节点

说明书

技术领域

本发明属于云存储技术领域，尤其涉及一种小文件的存取方法、系统及控制节点和存储节点。

背景技术

随着云计算、云存储技术的广泛发展和应用，如何存储海量(几十亿)小文件(几十kB到几MB的图片，文档等)成为分布式文件系统应用的难题。

现有的分布式文件系统，如Hadoop分布式文件系统（Hadoop Distributed File System，HDFS）在存储海量小文件时有着巨大的缺陷，由于HDFS的namenode（主节点）内存的限制，通常100w个文件需要至少3GB的内存空间，因此，HDFS无法存储和管理十亿级别的文件。HDFS也提供HAR FILE和Sequence FILE的模式来缓解该问题，但是这两种存储方式都是通过特定的命令，将已经存储的文件转换为这两种存储方式，由于存储结构的问题，无法支持对于小文件的修改，删除，锁定，解锁功能，同时检索海量小文件时的性能也有待提升。

发明内容

本发明实施例提供了一种小文件的存取方法、系统及控制节点和存储节点，旨在解决现有技术提供的文件的存取方法，无法支持对于小文件的修改、删除、锁定、解锁等功能，并且检索海量小文件时的性能也有待提升的问题。

一方面，提供一种一种小文件的存取方法，所述方法包括：

控制节点接收客户端发送的创建小文件命令；

控制节点根据所述创建小文件命令创建一个新的聚合文件或者从聚合文件列表中选择一个已有的聚合文件，同时根据所述聚合文件的属性信息生成所述小文件在所述聚合文件中的序号；

控制节点根据所述聚合文件的属性信息以及所述小文件在所述聚合文件中的序号生成所述小文件的标识以及用于存储所述小文件的存储节点的信息，并发送至客户端，客户端根据用于存储所述小文件的存储节点的信息向相应的存储节点发送写小文件指令，由所述存储节点根据所述写小文件指令将所述小文件的数据写入相应的文件块，并将所述小文件的数据在文件块中的起始位置和所述小文件的长度写入所述文件块的索引区域。

进一步地，所述聚合文件的属性信息中包括聚合文件的标识和聚合文件的存储块列表，所述存储块列表包括聚合文件中的每个文件块的序号、每个文件块中存储的小文件的个数以及存储每个文件块的存储节点的信息。

进一步地，所述控制节点根据所述聚合文件的属性信息以及所述小文件在所述聚合文件中的序号生成所述小文件的标识以及用于存储所述小文件的存储节点的信息包括：

控制节点根据所述聚合文件的标识以及所述小文件在所述聚合文件中的序号生成所述小文件的标识；

控制节点根据所述小文件在所述聚合文件中的序号以及每个文件块中存储的小文件的个数，计算得到用于存储所述小文件的文件块的序号；

控制节点根据所述用于存储所述小文件的文件块的序号以及用于存储每个文件块的存储节点的信息得到用于存储所述小文件的存储节点的信息。

进一步地，所述存储节点根据所述写小文件指令将所述小文件的数据写入相应的文件块，并将所述小文件的数据在文件块中的起始位置和所述小文件的长度写入所述文件块的索引区域包括：

存储节点从所述写小文件指令中提取出所述小文件的标识；

存储节点根据所述小文件的标识得到存储所述小文件的聚合文件的标识以及所述小文件在所述聚合文件中的序号；

存储节点根据所述小文件在所述聚合文件中的序号以及每个文件块中存储的小文件的个数，计算得到用于存储所述小文件的文件块的序号；

存储节点将所述小文件的数据写入所述文件块，并将所述小文件的数据在文件块中的起始位置和所述小文件的长度写入所述文件块的索引区域。

进一步地，在所述控制节点根据所述聚合文件的属性信息以及所述小文件在所述聚合文件中的序号生成所述小文件的标识以及用于存储所述小文件的存储节点的信息，并发送至客户端，客户端根据用于存储所述小文件的存储节点的信息向相应的存储节点发送写小文件指令，由所述存储节点根据所述写小文件指令将所述小文件的数据写入相应的文件块，并将所述小文件的数据在文件块中的起始位置和所述小文件的长度写入所述文件块的索引区域之后，所述方法还包括：

控制节点接收客户端发送的修改小文件指令；