[发明专利]一种海量小文件的处理方法及系统

权利要求书

1.一种海量小文件的处理方法，其特征在于，所述方法包括：

在文件处理功能启动后，将大文件头部结构信息以及大文件数据存储区内的小文件存储结构信息以链表的方式缓存到内存中，所述小文件存储结构信息包括小文件头部结构信息以及小文件数据存储区信息；

在检测到文件存储时，判断待存储的文件的大小是否小于预设值；

若是，将所述待存储的文件合并成大文件进行存储，并更新所述内存中的链表信息；

若否，通过操作系统的文件系统处理所述待存储的文件；

所述将所述待存储的文件合并成大文件进行存储，并更新所述内存中的链表信息具体为：

将所述待存储的文件追加写到某个大文件的后面，并更新所述内存中的链表信息以及该大文件的头部结构信息；

在更新所述内存中的链表信息之后，所述方法还包括：

在检测到对所述待存储的文件的修改操作时，将所述待存储的文件的有效性标记设置为修改状态；

在检测到对所述待存储的文件的删除操作时，将所述待存储的文件的有效性标记设置为删除状态。

2.如权利要求1所述的方法，其特征在于，在更新所述内存中的链表信息之后，所述方法还包括：

在接收到对所述待存储文件的检索请求时，根据所述待存储文件的位置偏移值读取所述待存储文件。

3.如权利要求2所述的方法，其特征在于，所述在接收到对所述待存储文件的检索请求时，根据所述待存储文件的位置偏移值读取所述待存储文件包括：

在接收到对所述待存储文件的检索请求时，在所述内存的链表信息中查找所述待存储文件所在的链表节点，根据所述链表节点定位所述待存储文件所处的合并大文件的位置偏移值，根据所述位置偏移值定位到所述待存储文件的存储位置，并读取所述待存储文件。

4.如权利要求1至3任一项所述的方法，其特征在于，在所述待存储的文件的大小小于预设值时，将所述待存储的文件合并成大文件进行存储具体包括：

在所述待存储的文件的大小小于预设值时，判断所述待存储的文件是否为新产生的文件，若是，将所述待存储的文件合并成大文件进行存储。

5.一种海量小文件的处理系统，其特征在于，所述系统包括：

缓存单元，用于在文件处理功能启动后，将大文件头部结构信息以及大文件数据存储区内的小文件存储结构信息以链表的方式缓存到内存中，所述小文件存储结构信息包括小文件头部结构信息以及小文件数据存储区信息；

判断单元，用于在检测到文件存储时，判断待存储的文件的大小是否小于预设值；

合并单元，用于在判断单元判断结果为是时，将所述待存储的文件合并成大文件进行存储，并更新所述内存中的链表信息，在判断单元判断结果为否时，通过操作系统的文件系统处理所述待存储的文件；

所述合并单元具体用于：

将所述待存储的文件追加写到某个大文件的后面，并更新所述内存中的链表信息以及该大文件的头部结构信息；

所述系统还包括：

修改单元，用于在检测到对所述待存储的文件的修改操作时，将所述待存储的文件的有效性标记设置为修改状态；

删除单元，用于在检测到对所述待存储的文件的删除操作时，将所述待存储的文件的有效性标记设置为删除状态。

6.如权利要求5所述的系统，其特征在于，所述系统还包括：

检索单元，用于在更新所述内存中的链表信息之后，若接收到对所述待存储文件的检索请求时，根据所述待存储文件的位置偏移值读取所述待存储文件。

7.如权利要求6所述的系统，其特征在于，所述检索单元具体用于：

在更新所述内存中的链表信息之后，若接收到对所述待存储文件的检索请求时，在所述内存的链表信息中查找所述待存储文件所在的链表节点，根据所述链表节点定位所述待存储文件所处的合并大文件的位置偏移值，根据所述位置偏移值定位到所述待存储文件的存储位置，并读取所述待存储文件；

所述合并单元具体用于，在所述待存储的文件的大小小于预设值时，判断所述待存储的文件是否为新产生的文件，若是，将所述待存储的文件合并成大文件进行存储。