[发明专利]分布式文件系统元数据缓存方法、装置、终端及存储介质

说明书

本发明公开一种分布式文件系统元数据缓存方法、装置、终端及存储介质，设计三级缓存机制，进行挑选缓存，将将要被使用的元数据放置在一、二级缓存队列，使用率低的元数据放置在三级缓存队列，淘汰时从三级缓存队列的缓存时间最久的元数据进行淘汰，从而保留将要被使用的元数据，保证元数据的命中率，减少内存占用，缩短元数据访问IO路径，降低网络通信压力，磁盘访问IO压力，并设置合理的缓存量阈值，在内存可控的基础上有效实现元数据缓存性能的最优化。

技术领域

本发明涉及分布式文件系统元数据缓存领域，具体涉及一种分布式文件系统元数据缓存方法、装置、终端及存储介质。

背景技术

大数据时代非结构化的数据成爆炸式快速的增长，海量数据以文件格式保存、管理、使用，造成文件数量很庞大。元数据是描述数据的数据，指用来描述一个文件的特征的系统数据，诸如访问权限、文件拥有者以及文件数据块的分布信息等。

对于分布式文件系统（对象存储）小文件场景，提升元数据缓存的利用率，能够减少客户端与元数据服务器的通信次数、与底层磁盘的IO次数，从而降低网络压力、减少磁盘压力。实际场景中，由于用户的检索操作，例如目录索引，会造成大量的无用元数据缓存占用，使得元数据缓存的命中率非常低；另一方面在小文件高性能读写场景，由于对业务性能要求比较高，往往需要全缓存单位时间内的全部元数据缓存，这样也包含由于检索操作创建的无用元数据缓存，从而造成存储系统内存占用非常高。

发明内容

为解决上述问题，本发明提供一种分布式文件系统元数据缓存方法、装置、终端及存储介质，设计三级缓存机制，进行挑选缓存，将将要被使用的元数据放置在一二级缓存队列，使用率低的元数据放置在三级缓存队列，淘汰时从三级缓存队列的缓存时间最久的元数据进行淘汰，保证元数据的命中率，减少内存占用。

第一方面，本发明的技术方案提供一种分布式文件系统元数据缓存方法，包括以下步骤：

配置三级缓存；

当有新的元数据缓存时，将该新的元数据插入一级缓存队列；

当一级缓存队列内的缓存量大于其缓存量阈值时，取出一级缓存队列内缓存时间最久的元数据直到一级缓存队列内的缓存量小于其缓存量阈值，取出的元数据作为待移动元数据；

待移动元数据中将要被读取的元数据移动到二级缓存队列，其他元数据移动到三级缓存队列；

当二级缓存队列内的缓存量大于其缓存量阈值时，将二级缓存队列内缓存时间最久的元数据移动到三级缓存队列直到二级缓存队列的缓存量小于其缓存量阈值；

当三级缓存队列内的缓存量大于其缓存量阈值时，将三级缓存队列内缓存时间最久的元数据淘汰直到三级缓存队列的缓存量小于其缓存量阈值。

进一步地，待移动元数据中将要被读取的元数据移动到二级缓存队列，其他元数据移动到三级缓存队列，具体包括：

判断待移动元数据对应的文件是否被读写使用过或单独检索过；

若是，则将待移动元数据移动到二级缓存队列；否则移动到三级缓存队列。

进一步地，当有新的元数据缓存时，将该新的元数据插入一级缓存队列，具体包括：

当有新的元数据缓存时，将该新的元数据插入一级缓存队列头部。

进一步地，当有新的元数据缓存时，将该新的元数据插入一级缓存队列，具体还包括：

当有新的元数据缓存时，判断该新的元数据是否已缓存在一级缓存队列、二级缓存队列或三级缓存队列内；

若是，则将已缓存的元数据取出插入到一级缓存队列头部。

进一步地，当二级缓存队列内的缓存量大于其缓存量阈值时，将二级缓存队列内缓存时间最久的元数据移动到三级缓存队列直到二级缓存队列的缓存量小于其缓存量阈值，具体为：

当二级缓存队列内的缓存量大于其缓存量阈值时，将二级缓存队列内尾部的元数据移动到三级缓存队列头部直到二级缓存队列的缓存量小于其缓存量阈值；