[发明专利]一种分布式文件系统中小文件数据存储、读取方法及装置

说明书

技术领域

本发明涉及数据存储、读取技术领域，具体涉及一种分布式文件系统中小文件数据存储、读取方法及装置。

背景技术

海量小文件存储(简称LOSF，lots of small files)出现后，就一直是业界的难题。通过对若干分布式存储系统的调研、测试与使用，与其它分布式系统相比，海量小文件存储更侧重于解决两个问题：(1)海量小文件的元数据信息组织与管理；(2)海量小文件的读写速率。

小文件访问具有访问频率高、访问量大的特性，传统文件系统中小文件的访问对主机磁盘的压力较大，分布式文件系统以集群形式对外提供服务，但是小文件的存储性能仍然受网络时延和磁盘响应速度的影响。

发明内容

本发明提供了一种分布式文件系统中小文件数据存储、读取方法及装置，能够提高分布式文件系统中小文件数据的存储效率。

本发明解决上述技术问题的技术方案如下：一种分布式文件系统中小文件数据存储方法，包括：

S1a，在分布式文件系统中，将分布式内存库作为分级缓存层，并增加异步提交缓存模块；

S2a，当向分布式文件系统中写入小文件数据时，先将所述小文件数据写入分级缓存层；

S3a，当分级缓存层中的小文件数据量达到预设量时，由异步提交缓存模块从分级缓存层中读取小文件数据，写入数据持久层；

S4a，当异步提交缓存模块向数据持久层中提交小文件数据成功后，清除分级缓存层中对应的小文件数据。

本发明的有益效果为：在分布式文件系统中，将分布式内存库作为分级缓存层，并增加异步提交缓存模块，当向分布式文件系统中写入小文件数据时，先将小文件数据写入分级缓存层，利用缓存层的轻量级缓存功能减小对持久层磁盘的压力，然后由异步提交缓存模块从分级缓存层中读取小文件数据，存储到数据持久层，这样可以降低小文件数据持久化的响应时间，从而提高分布式文件系统中小文件数据的存储效率。

另一方面，本发明提供了一种分布式文件系统中小文件数据读取方法，包括：

S1b，当分布式文件系统接收到数据读取请求时，根据数据读取请求判断分级缓存层中是否存在对应的小文件数据；

S2b，若存在，则从分级缓存层中读取对应的小文件数据返回，若不存在，则从数据持久层中读取对应的小文件数据返回。

本发明的有益效果为：当从分布式文件系统中读取小文件数据时，先从分级缓存层中读取，当读取失败时，再从数据持久层中读取小文件数据，减轻了数据持久层的压力，加快了小文件数据读取的效率。

再一方面，提供了一种分布式文件系统中小文件数据存储装置，包括数据写入模块、异步提交缓存模块和清除模块；

所述数据写入模块，用于当向分布式文件系统中写入小文件数据时，先向分级缓存层中写入小文件数据；

所述异步提交缓存模块，用于当分级缓存层中的小文件数据量达到预设量时，从分级缓存层中读取小文件数据，写入数据持久层；

所述清除模块，用于当所述异步提交缓存模块向数据持久层中提交小文件数据成功后，清除分级缓存层中对应的小文件数据。

又一方面，还提供了一种分布式文件系统中小文件数据读取装置，包括：

判断模块，用于接收到数据读取请求时，根据数据读取请求判断分级缓存层中是否存在对应的小文件数据；

数据读取模块，用于若分级缓存层中存在对应的小文件数据，则从分级缓存层中读取对应的小文件数据返回，若否，则从数据持久层中读取对应的小文件数据返回。

附图说明

图1为本发明一个实施例的分布式文件系统中小文件数据存储方法流程图；

图2为本发明另一个实施例的分布式文件系统中小文件数据存储方法流程图；

图3为本发明一个实施例的分布式文件系统中小文件数据读取方法流程图；

图4为本发明另一个实施例的分布式文件系统中小文件数据读取方法流程图；

图5为本发明一个实施例的分布式文件系统中小文件数据存储装置框图示意图；

图6为本发明另一个实施例的分布式文件系统中小文件数据存储装置框图示意图；

图7为本发明一个实施例的分布式文件系统中小文件数据读取装置框图示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

参见图1，为实施例1的一种分布式文件系统中小文件数据存储方法，包括：