[发明专利]小文件的存储方法、电子设备及存储介质

说明书

本发明公开了一种小文件的存储方法、电子设备及存储介质。其中，小文件的存储方法包括数据回收流程，所述数据回收流程包括：接收来自客户端的删除指令；根据所述删除指令删除第一目标文件，对所述第一目标文件的数据空间执行删除操作，以释放合并目标文件的存储空间；其中，所述第一目标文件写入时被合并到所述合并目标文件中。本发明能够将海量小文件对象数据合并为大文件进行存储，当对象数据删除后，能够有效地释放这部分数据空间，不会产生数据空洞，从而实现空间的回收利用，给用户提供空间经济性，提升存储系统的性能。

技术领域

本发明涉及数据存储技术领域，尤其是涉及一种小文件的存储方法、电子设备及存储介质。

背景技术

在分布式对象存储系统中，一般都存储着大量的非结构化数据，例如：图片、语音、视频、文本、文档等，数据从大到GB级，小到KB级。而在大量数据存储场景，比如人工智能，金融行业影像数据等场景，存储的超过大多数数据往往都是几十K的小文件，在海量小文件的应用场景下，一般在数据达到亿级就会出现性能缓慢等问题，所以底层能够支撑文件合并存储是支撑海量对象小文件存储的技术方案之一。

相关技术的小文件合并方案中，部分小文件被删除后，对于原先合并后的目标文件会产生大量的空洞，底层存储是采用Block的方式管理数据，最小存储单元是64K的数据单元，当数据被删除后，实际在存储底层是标记删除，其存储空间并没有得到释放，而数据释放会带来大量的文件索引变更和数据合并问题，导致存储系统的性能遭受到极大的影响。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种小文件的存储方法，能够将海量小文件对象数据合并为大文件进行存储，当对象数据删除后，能够有效地释放这部分数据空间，不会产生数据空洞，从而实现空间的回收利用，提升存储系统的性能。

本发明还提出一种具有上述小文件的存储方法的电子设备。

根据本发明的第一方面实施例的小文件的存储方法，包括数据回收流程，所述数据回收流程包括：接收来自客户端的删除指令；根据所述删除指令删除第一目标文件，对所述第一目标文件的数据空间执行删除操作，以释放合并目标文件的存储空间；其中，所述第一目标文件写入时被合并到所述合并目标文件中。

根据本发明实施例的小文件的存储方法，至少具有如下有益效果：通过数据回收流程进行文件删除和空间回收，能够做到当对象数据删除后，能够有效地释放这部分数据空间，不会产生数据空洞，从而实现空间的回收利用，给用户提供空间经济性，提升存储系统的性能。

根据本发明的一些实施例，还包括数据写入流程，所述数据写入流程包括：接收来自客户端的所述第一目标文件；对所述第一目标文件的大小进行判定，若所述第一目标文件的大小小于第一阈值，判断所述第一目标文件为小文件；若所述第一目标文件为小文件，将所述第一目标文件合并到所述合并目标文件并存储。

根据本发明的一些实施例，所述将所述第一目标文件合并到所述合并目标文件并存储，包括：给所述第一目标文件生成目标ID，所述目标ID全局唯一；通过存储服务控制策略来完成向存储服务进行数据发送和事务处理控制；通过文件存储规则来确定所述第一目标文件的存储格式；控制所述第一目标文件按照文件存储格式事务写入。

根据本发明的一些实施例，所述通过存储服务控制策略来完成向存储服务进行数据发送和事务处理控制，包括：当写入所述第一目标文件，发送所述第一目标文件给到存储服务进行数据写入；当数据写入成功后，再将所述第一目标文件的元数据进行写入，更新所述第一目标文件所在桶的索引信息；所述索引信息包括所述目标ID。

根据本发明的一些实施例，所述第一目标文件存储格式包括头文件和目标数据文件，所述控制所述第一目标文件按照文件存储格式事务写入，包括：控制所述第一目标文件写入所述目标数据文件中；更新所述第一目标文件对应的所述头文件。