[发明专利]基于Ceph存储的小文件合并系统及方法

权利要求书

1.一种基于Ceph存储的小文件合并系统，其特征在于，包括：

对象存储设备OSD：存储数据文件和元数据文件；

元数据服务器：负责管理元数据，内部有缓存空间；

客户端：包括文件判别模块、关联性提取模块、文件合并模块和缓存模块，分别对存储数据文件进行处理。

2.根据权利要求1所述的基于Ceph存储的小文件合并系统，其特征在于，所述文件判别模块包括：

对应用程序发出的一系列请求文件进行筛选处理；

设定判别大小文件的阈值，如果是大文件则直接进行存储，如果是小文件则进入等待队列，等待对小文件的下一步操作，筛选出的小文件合集。

3.根据权利要求2所述的基于Ceph存储的小文件合并系统，其特征在于，所述关联性提取模块包括：利用语法分析提取出有价值的关键字，利用关键字组成关联数据之间的引用桥梁，引出相关联的文件，完成关联文件的提取。

4.根据权利要求2所述的基于Ceph存储的小文件合并系统，其特征在于，所述文件合并模块包括：将小文件合集按照新的序列进行合并，当小文件进行合并时，计算每个合并文件的大小，保证合并文件不超过最大阈值。

5.根据权利要求4所述的基于Ceph存储的小文件合并系统，其特征在于，所述文件合并模块还包括：由小文件序列合并生成合并文件A时，当合并文件A达到最大阈值后，将小文件序列中剩余文件归并到下一个合并文件B中，最终形成合并文件A、合并文件B与其各自的映射文件，所述合并文件A与合并文件B内保存小文件的数据信息，映射文件内保存包括文件名、文件偏移量、文件逻辑块序号在内的相关小文件元数据信息。

6.一种基于Ceph存储的小文件合并方法，其特征在于，基于如权利要求1-5中任意一项所述的基于Ceph存储的小文件合并系统，包括：

步骤S1：对小文件进行合并写入操作；

步骤S2：对小文件进行读取。

7.根据权利要求6所述的基于Ceph存储的小文件合并方法，其特征在于，所述步骤S1包括：

步骤S1.1：应用程序发送目标文件集到客户端；

步骤S1.2：客户端内经过文件判别，筛选出大文件直接进行存储；

步骤S1.3：由筛选出的小文件，得到小文件合集，并进行数据结构关联性分析；

步骤S1.4：分析结果按照数据关联亲密度进行排序，并按照排序结果执行文件合并动作。

8.根据权利要求7所述的基于Ceph存储的小文件合并方法，其特征在于，所述步骤S1还包括：

步骤S1.5：每一个小文件在进行合并时判断文件大小是否小于存储块的剩余空间，是则开始存放，否则存放在下一个块中；

步骤S1.6：文件合并过程完成后生成合并文件A和合并文件B以及相对应的映射文件，写入对象存储设备中并返回确定信息。

9.根据权利要求6所述的基于Ceph存储的小文件合并方法，其特征在于，所述步骤S2包括：

应用程序发出读文件请求传到客户端，客户端判断请求文件是否为大文件，若为大文件则直接到元数据服务器中访问目标文件元数据信息，再到对象存储设备OSD中获取目标文件，解压目标文件写入缓存模块。

10.根据权利要求9所述的基于Ceph存储的小文件合并方法，其特征在于，所述步骤S2还包括：

客户端判断请求文件若为小文件，首先确定是否存储在客户端缓存中，若有则直接获取完成此次访问，若无则根据元数据信息到对象存储设备OSD中获取对应的合并文件，再根据映射文件找到合并文件中小文件的位置信息并返回到客户端，解压合并文件获取目标文件，合并文件中其余小文件写入缓存模块。