[发明专利]基于MapFile的小文件管理服务SFMS系统及其使用方法

权利要求书

1.一种基于MapFile的小文件管理服务SFMS系统，其特征在于，包括：

客户端：客户端使用jar包编写程序，向SFMS发送管理小文件的请求；客户端还用于接收SFMS反馈的操作结果；

SFMS：SFMS（Small File Management Service）为小文件管理服务器，其使用Hadoop中自带的MapFile机制，采用基于时间合并的小文件合并方法，将海量小文件合并成有限个数的大文件，并将客户端发送的请求转化为对Hadoop集群中的MapFile的操作；还将操作结果反馈给客户端；

Hadoop集群：Hadoop集群用于存储MapFile；

所述的MapFile为Map容器的持久化文件，将一个个Key-Value对存储到文件中；给定一个Key即可快速定位到一个Value；MapFile是先将Key-Value按Key的字典序升序依次存储到data文件中，然后再将Key抽样取出，与该Key-Value对在data文件中的偏移量组成新的Key-Value对，存储到另一个文件index中；当需要读取某个Key对应的Value时，先将index文件读取到内存中，然后二分查找，找到该Key对应的偏移量，从而快速定位到该Key-Value对在data文件中的位置；

所述SFMS采用了小文件合并方法；小文件合并方法：以MapFile中存储的是Key-Value对为小文件合并为大文件的基础；以小文件的全路径为Key，小文件的内容为Value来构建Key-Value对，然后将该Key-Value对存储到MapFile，从而实现了小文件的合并；

所述的基于时间合并是将一定时间内产生的小文件合并为一个MapFile。

2.根据权利要求1所述的基于MapFile的小文件管理服务SFMS系统，其特征在于，所述的基于时间合并是将1个月内产生的小文件合并为一个MapFile。

3.根据权利要求1所述的基于MapFile的小文件管理服务SFMS系统，其特征在于，所述的jar包由SFMS提供。

4.根据权利要求1所述的基于MapFile的小文件管理服务SFMS系统，其特征在于，所述的客户端向SFMS发送管理文件的请求包括读取文件、写入文件或删除文件。

5.根据权利要求1所述的基于MapFile的小文件管理服务SFMS系统，其特征在于，所述的SFMS在内存中同时保持多个index文件。

6.一种如权利要求1-5任一所述的基于MapFile的小文件管理服务SFMS系统的使用方法，其特征在于，步骤如下：

1）客户端使用jar包编写程序，向SFMS发送管理小文件的请求；

2）SFMS接收到客户端发出的请求之后，解析该请求；

3）SFMS使2）中解析得到的参数，对小文件进行管理，具体管理方法如下：

如果收到的是小文件存储的请求，则根据参数，遍历需要存储的小文件的路径，然后按照将每个月产生的小文件合并为一个大文件的原则，将这些小文件合并成一个MapFile，存储在HDFS中；

如果收到的是小文件读取的请求，则根据参数，从存储在HDFS中的MapFile中读取出客户需要的小文件内容；

如果收到是小文件批量删除的请求，则根据参数，将存储在HDFS中的对应的MapFile删除；

4）SFMS在将请求操作完毕之后，将操作请求的结果反馈给客户端。