[发明专利]一种分布式文件系统访问方法及平台

说明书

技术领域

本发明涉及文件访问技术领域，特别涉及一种分布式文件系统访问方法及平台。

背景技术

在分布式云存储领域，为了减少文件系统容量冗余，通常采用纠删码来存储数据，即将一份数据通过纠删算法写入多块磁盘。当需要读取文件时，需要从多块磁盘中读取数据才能获取最终的数据，这样导致读取时需要多块磁盘同时参与。当需要一写多读时，大量的读取请求会占用磁盘的输入输出(IO)，导致写入请求的带宽受到影响，文件系统压力很大，尤其当写入请求的待写入文件较小时，文件系统的性能显得更低。

现有技术中，采用快速固态磁盘(SSD)来做后端串口(SATA)硬盘数据池的高速缓冲存储池(cache)。客户端从cache池写入文件，从SATA数据池读取文件；当cache池写满时，将文件数据迁移到SATA数据池中；当某文件读取较为频繁时，将该文件判定为热点数据，并将该文件从SATA数据池中迁移到cache池中，加速对于该文件的再次读取。

采用这种方式，如果当前写入压力较大，也会因为热点数据的迁移影响到文件系统的性能。

发明内容

有鉴于此，本发明的目的在于提供一种分布式文件系统访问方法及平台，能够减小后端磁盘的压力，减少读取文件的延迟，提升文件系统性能。其具体方案如下：

一种分布式文件系统访问方法，包括：

获取客户端的写入请求；

判断所述写入请求对应的待写入文件的文件大小是否小于预设文件大小阈值；

如果是，则判定所述待写入文件的文件类型为小文件，并将所述待写入文件缓存至分布式redis集群。

优选地，所述方法进一步包括：

记录所述客户端针对小文件的读取行为，得到相应的读取行为数据；

判断所述读取行为数据是否满足预设条件，如果是，则将所述读取行为数据对应的小文件缓存至所述分布式redis集群。

优选地，所述判断所述读取行为数据是否满足预设条件的过程，包括：

判断读取频率是否大于第一预设频率阈值，如果是，则判定所述读取行为数据满足所述预设条件。

优选地，所述判断所述读取行为数据是否满足预设条件的过程，包括：

判断读取次数是否大于第一预设次数阈值，如果是，则判定所述读取行为数据满足所述预设条件。

优选地，所述判断所述读取行为数据是否满足预设条件的过程，包括：

若所述读取频率大于所述第二预设频率阈值，则判断读取次数是否大于第二预设次数阈值，如果是，则判定所述读取行为数据满足所述预设条件。

优选地，所述判断所述读取行为数据是否满足预设条件的过程，包括：

判断读取次数是否大于第三预设次数阈值；

若所述读取次数大于所述第三预设次数阈值，则判断读取频率是否大于第三预设频率阈值，如果是，则判定所述读取行为数据满足所述预设条件。

优选地，所述方法进一步包括：

确定所述客户端当前请求读取的小文件和/或历史上请求读取的小文件，得到相应的目标小文件；

确定与所述目标小文件相关联的小文件，得到关联小文件；

将所述关联小文件缓存至所述分布式redis集群。

优选地，所述确定与所述目标小文件相关联的小文件，得到关联小文件的过程，包括：

确定与所述目标小文件相关联的第一类小文件和/或第二类小文件，得到所述关联小文件；

其中，所述第一类小文件为与所述目标小文件具有相同关键字的小文件；

所述第二类小文件为与所述目标小文件的存储路径相同的小文件。

本发明还提供一种分布式文件系统访问平台，包括：

获取模块，用于获取客户端的写入请求；

大小判断模块，用于判断所述写入请求对应的待写入文件的文件大小是否小于预设文件大小阈值；

第一缓存模块，用于当所述大小判断模块判断所述待写入文件的文件大小小于所述预设文件大小阈值，将所述待写入文件缓存至分布式redis集群。

优选地，所述平台进一步包括：

数据模型分析模块，用于记录所述客户端针对小文件的读取行为，得到相应的读取行为数据；

行为判断模块，用于判断所述读取行为数据是否满足预设条件；

第二缓存模块，用于当所述行为判断模块判断所述读取行为数据满足所述预设条件，将所述读取行为数据对应的小文件缓存至所述分布式redis集群。

优选地，所述平台进一步包括：