[发明专利]一种小文件性能优化方法、装置、终端及存储介质

说明书

本发明公开一种小文件性能优化方法、装置、终端及存储介质，将小文件写入聚合文件；对小文件进行读操作时，从聚合文件中读取；聚合文件写满后，统一将其内的小文件向对象存储进行写操作。本发明将小文件写入聚合文件，而不是直接写入对象存储，在读操作时，从聚合文件中读取，写操作时，由聚合文件统一向对象存储写操作，能够有效提高小文件写性能，减轻集群对象存储的读写压力提高顺序读性能提高磁盘使用率。

技术领域

本发明涉及分布式文件系统小文件处理领域，具体涉及一种小文件性能优化方法、装置、终端及存储介质。

背景技术

在如今的多媒体存储中，数据量几何级增长，尤其是小文件，几K～几十K大小不等，数据巨多，如果使用正常流程一个个存储，会占用大量的IO操作，性能低下，所以对于小文件的存储急需新的方案满足多数存储场景的需求。

分布式存储可以均衡写入压力，数据可靠性也有很大的提高，同时对小文件的处理也有了一定的提升，但是还是不能满足有些场景的需求。

发明内容

为解决上述问题，本发明提供一种小文件性能优化方法、装置、终端及存储介质。

本发明的技术方案为：一种小文件性能优化方法，包括以下步骤：

将小文件写入聚合文件；

对小文件进行读操作时，从聚合文件中读取；

聚合文件写满后，统一将其内的小文件向对象存储进行写操作。

进一步地，对指定的小文件写入聚合文件，未指定的小文件依旧直接写入对象存储。

进一步地，小文件在聚合文件内所占空间向4KB对齐。

进一步地，对小文件进行读操作时，根据聚合文件的扩展名和小文件ID地址，将小文件从磁盘读取。

本发明的技术方案还包括一种小文件性能优化装置，包括，

写入模块：将小文件写入聚合文件；

读操作模块：对小文件进行读操作时，从聚合文件中读取；

写操作模块：聚合文件写满后，统一将其内的小文件向对象存储进行写操作。

进一步地，还包括，

小文件指定模块：指定写入聚合文件中的小文件；

写入模块对指定的小文件写入聚合文件，未指定的小文件依旧直接写入对象存储。

进一步地，小文件在聚合文件内所占空间向4KB对齐。

进一步地，读操作模块对小文件进行读操作时，根据聚合文件的扩展名和小文件ID地址，将小文件从磁盘读取。

本发明的技术方案还包括一种终端，包括：

处理器；

用于存储处理器的执行指令的存储器；

其中，所述处理器被配置为执行上述任一项所述的方法。

本发明的技术方案还包括一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现上述任一项所述的方法。

本发明提供的一种小文件性能优化方法、装置、终端及存储介质，将小文件写入聚合文件，而不是直接写入对象存储，在读操作时，从聚合文件中读取，写操作时，由聚合文件统一向对象存储写操作，能够有效提高小文件写性能，减轻集群对象存储的读写压力提高顺序读性能提高磁盘使用率。

附图说明

图1是本发明具体实施例一方法流程示意图；

图2是本发明具体实施例二结构示意框图。

具体实施方式

下面结合附图并通过具体实施例对本发明进行详细阐述，以下实施例是对本发明的解释，而本发明并不局限于以下实施方式。