[发明专利]一种分布式文件系统中小文件数据存储、读取方法及装置

权利要求书

1.一种分布式文件系统中小文件数据存储方法，其特征在于，包括：

S1a，在分布式文件系统中，将分布式内存库作为分级缓存层，并增加异步提交缓存模块；

S2a，当向分布式文件系统中写入小文件数据时，将所述小文件数据写入分级缓存层；

S3a，当分级缓存层中的小文件数据量达到预设量时，由异步提交缓存模块从分级缓存层中读取小文件数据，写入数据持久层；

S4a，当异步提交缓存模块向数据持久层中提交小文件数据成功后，清除分级缓存层中对应的小文件数据。

2.如权利要求1所述的分布式文件系统中小文件数据存储方法，其特征在于，所述步骤S2a具体包括：

S21a，以数据块为单位向分布式文件系统中写入小文件数据时，查找分级缓存层中是否存在文件缓存信息，若存在，执行步骤S22a，若不存在，则创建文件缓存信息，执行步骤S22a；

S22a，根据需要写入的数据块，从文件缓存信息中查找是否存在对应的缓存数据块索引信息，若存在，则在分级缓存层中更新缓存数据块；若不存在，则创建缓存数据块索引信息，并将数据块存储到分级缓存层中。

3.如权利要求2所述的分布式文件系统中小文件数据存储方法，其特征在于，所述步骤S3a具体包括：

当分级缓存层中的小文件数据量达到预设量时，由异步提交缓存模块读取分级缓存层中的数据块，写入数据持久层代理层，由数据持久层代理层通过通信网络将数据块写入数据持久层。

4.一种分布式文件系统中小文件数据读取方法，其特征在于，包括：

S1b，当分布式文件系统接收到数据读取请求时，根据数据读取请求判断分级缓存层中是否存在对应的小文件数据；

S2b，若存在，则从分级缓存层中读取对应的小文件数据返回，若不存在，则从数据持久层中读取对应的小文件数据返回。

5.如权利要求4所述的分布式文件系统中小文件数据读取方法，其特征在于，所述步骤S1b具体包括：

S11b，当接收到数据读取请求时，判断分级缓存层中是否存在对应的缓存数据块索引信息，若不存在，则从数据持久层中读取对应的数据块返回，若存在，执行S12b；

S12b，加载对应的缓存数据块索引信息，并根据缓存数据块索引信息查找分级缓存层中是否存在对应的数据块，若存在，则从分级缓存层中读取对应的数据块返回，若不存在，则从数据持久层中读取对应的数据块返回。

6.一种分布式文件系统中小文件数据存储装置，其特征在于，包括数据写入模块、异步提交缓存模块和清除模块；

所述数据写入模块，用于当向分布式文件系统中写入小文件数据时，向分布式文件系统中的分级缓存层中写入小文件数据；

所述异步提交缓存模块，用于当分级缓存层中的小文件数据量达到预设量时，从分级缓存层中读取小文件数据，写入数据持久层；

所述清除模块，用于当所述异步提交缓存模块向数据持久层中提交小文件数据成功后，清除分级缓存层中对应的小文件数据。

7.如权利要求6所述的分布式文件系统中小文件数据存储装置，其特征在于，所述数据写入模块包括第一查找单元、第二查找单元、更新单元、第一创建单元和第二创建单元；

所述第一查找单元，用于当以数据块为单位向分布式文件系统中写入小文件数据时，在分级缓存层中查找是否存在文件缓存信息，若存在，调用第二查找单元；若不存在，调用第一创建单元；

第一创建单元，用于创建文件缓存信息，调用第二查找单元；

所述第二查找单元，用于根据需要写入的数据块，从文件缓存信息中查找是否存在对应的缓存数据块索引信息，若存在，调用更新单元，若不存在，调用第二创建单元；

所述第二创建单元，用于创建缓存数据块索引信息，并将数据块存储到分级缓存层中；

所述更新单元，用于在分级缓存层中更新缓存数据块。

8.如权利要求7所述的分布式文件系统中小文件数据存储装置，其特征在于，所述异步提交缓存模块具体用于：

当分级缓存层中的小文件数据量达到预设量时，读取分级缓存层中的数据块，写入数据持久层代理层，由数据持久层代理层通过通信网络将数据块写入数据持久层。