[发明专利]一种海量小文件的处理方法及系统

说明书

本发明适用于数据处理技术领域，提供了一种海量小文件的处理方法及系统，所述方法包括：在文件处理功能启动后，将大文件头部结构信息以及大文件数据存储区内的小文件存储结构信息以链表的方式缓存到内存中；在检测到文件存储时，判断待存储的文件的大小是否小于预设值；若是，将所述待存储的文件合并成大文件进行存储，并更新所述内存中的链表信息。通过本发明，可有效提高海量小文件存储以及检索的效率。

技术领域

本发明属于数据处理技术领域，尤其涉及一种海量小文件的处理方法及系统。

背景技术

随着互联网、物联网、云计算、大数据等技术的发展，用户数据呈现爆炸式增长，其中小文件数量达到数千万乃至数亿的规模，并且逐年增长，而且这些小文件和大文件通常是混合地存储在一起，极大的影响了文件存储以及检索的效率。

目前，针对文件的存储与检索，主要使用基于传统磁盘之上建立的本地文件系统、分布式文件系统、对象存储系统等来实现。然而，所述本地文件系统、分布式文件系统和对象存储系统等磁盘文件系统，主要是针对大文件的存储与检索而设计的，当用来处理海量小文件时，在存储和检索效率方面会大幅降低，甚至无法正常进行。

发明内容

鉴于此，本发明实施例提供一种海量小文件的处理方法及系统，以提高海量小文件存储以及检索的效率。

本发明实施例是这样实现的，一种海量小文件的处理方法，所述方法包括：

在文件处理功能启动后，将大文件头部结构信息以及大文件数据存储区内的小文件存储结构信息以链表的方式缓存到内存中；

在检测到文件存储时，判断待存储的文件的大小是否小于预设值；

若是，将所述待存储的文件合并成大文件进行存储，并更新所述内存中的链表信息。

本发明实施例的另一目的在于提供一种海量小文件的处理系统，所述系统包括：

缓存单元，用于在文件处理功能启动后，将大文件头部结构信息以及大文件数据存储区内的小文件存储结构信息以链表的方式缓存到内存中；

第一判断单元，用于在检测到文件存储时，判断待存储的文件的大小是否小于预设值；

合并单元，用于在第一判断单元判断结果为是时，将所述待存储的文件合并成大文件进行存储，并更新所述内存中的链表信息。

本发明实施例与现有技术相比存在的有益效果是：本发明实施例通过将小文件合并成大文件进行存储，把大量的小文件数据变成大文件数据，减少了文件数量，从而减少了元数据服务中的元数据数量，可有效提高文件检索以及查询的效率。而且，采用小文件合并存储机制后，小文件的元数据和数据可以一并连续存储在大文件中，从而可大大增强单个小文件内部的数据局部性。另外，采用小文件合并存储机制后，I/O访问流程也将发生极大变化，很多小文件共享一个大文件，使得open操作可以转换成开销较小的seek操作，根据索引定位到大文件内部相应位置即可，从而有效节省系统开销，具有较强的易用性和实用性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的海量小文件处理方法的实现流程图；

图2是本发明实施例一提供的合并的大文件内部结构的示意图；

图3是本发明实施例二提供的海量小文件处理系统的组成结构图。

具体实施方式