[发明专利]文件写入方法及装置

说明书

技术领域

本发明涉及通信领域，具体而言，涉及一种文件写入方法及装置。

背景技术

分布式文件系统应用于各类海量富媒体(例如：音视频)系统的文件存储目前已非常普遍。随着高清、超清视频技术的不断演进和移动终端的接入带宽不断提升，导致各类富媒体系统对外呈现的支持的用户并发路数以及单路用户数据带宽不断提升，除去应用层不断进行增加缓冲层(增加缓存大小)、以及不断优化提升音视频编解码算法之外，更多的是将上层应用的压力透传到存储系统层，如采用更多的存储访问并发进程、更大的读写提交块大小、根据业务动作识别采取数据预取、采用零拷贝技术降低磁盘读取时的系统资源消耗等。简言之，其对存储系统(分布式文件存储系统)层的整体性能或单存储服务节点性能(尤其是高吞吐带宽)以及访问效率，相比以往，也在呈现出越来越高的要求。

从分布式文件系统视角，采用的存储服务器中的单存储介质设备(如单块3.5英寸SATA类磁盘)支持的存储容量不断提升但性能提升不明显，因此，在相同的存储容量下，如采用更大容量的单位存储介质，则传统的分布式文件系统将出现由于存储介质设备数减少而导致整体性能下降的困扰。同时，在分布式文件系统存储服务器上，文件系统在经历长时间的写入和删除操作的情况下，对后续的文件读写性能会出现由于文件碎片化而导致的性能显著下降，严重时，会导致上层访问存储的业务出现卡顿或超时报错。

针对相关技术中分布式文件系统的读写性能低的问题，目前还没有有效地解决方案。

发明内容

本发明实施例提供了一种文件写入方法及装置，以至少解决相关技术中分布式文件系统的读写性能低的问题。

根据本发明的一个实施例，提供了一种文件写入方法，包括：在对文件进行写入之前，对所述文件的元数据和/或所述文件的至少一个分片要占用的空间进行预先占用，其中，所述文件分割为至少一个分片以进行分布式存储，所述文件的元数据至少包括所述文件的至少一个分片的存储的信息；根据预先占用的空间对所述文件的元数据和/或所述文件的分片文件进行写入。

可选地，所述元数据包括：所述文件的所有分片存在的位置信息，对所述文件的元数据要占用的空间进行预先占用包括：预测并获取所述文件的所有分片存放的位置信息；将所述所有分片存放的位置信息发送给进行所述文件写入的客户端，其中，所述位置信息用于使所述客户端直接将所述文件的分片写入到所述位置信息对应的存储单元上。

可选地，对所述文件的元数据进行写入包括：在所述文件的每一个分片写入完成之后，或者，在所述文件的所有分片写入完成之后，对所述文件的元数据进行更新。

可选地，对所述文件的至少一个分片进行预先占用包括：在对所述至少一个分片中的每个分片写入之前，对存储单元上的空间按照预定的颗粒度和/或所述存储单元上设置的分片尺寸进行空间预先占用。

可选地，在新写入所述文件的情况下，对所述存储单元上的空间按照预定的颗粒度和/或所述存储单元上设置的分片尺寸进行空间预先占用包括：对于预定分片对应的空间，在写开始阶段，根据所述预定的颗粒度进行连续一次或者最多两次追加式空间预先占用，其中，所述预定分片包括以下至少之一：所述文件对应的最后一个分片；小于所述存储单元上设置的分片尺寸的分片；对于满足所述存储单元上设置的分片尺寸的分片，根据所述存储单元上设置的分片尺寸进行一次性空间预先占用。

可选地，在追加写入所述文件的情况下，对所述存储单元上的空间按照预定的颗粒度和/或所述存储单元上设置的分片尺寸进行空间预先占用包括：根据所述文件追加写入内容的大小与被追加的原文件最后一个分片大小之和，与所述存储单元上设置的分片尺寸的大小进行空间预先占用。

可选地，根据所述追加写入内容的大小与被追加的原文件最后一个分片大小之和，与所述存储单元上设置的分片尺寸的大小进行空间预先占用包括以下至少之一：在所述和不超过所述存储单元上设置的分片尺寸的情况下，在写准备阶段，在所述被追加文件最后一个分片的基础上，进行一次或最多两次追加式空间预先占用；在所述和超过所述存储单元上设置的分片尺寸的情况下，在所述被追加文件最后一个分片之上进行一次分片追加式占用，预先占用所述被追加文件最后一个分片的大小等于所述存储单元上设置的分片尺寸，对于超出部分按照所述存储单元上设置的分片尺寸的粒度进行逐个分片的空间预先占用，对于最后一个小于所述存储单元上设置的分片的情况下，按照预定的颗粒度进行一次或最多两次追加式空间预先占用。

可选地，所述预定的颗粒度根据不同的业务目录进行配置。