[发明专利]一种元数据的存储方法、系统及相关装置

说明书

本申请提供一种元数据的存储方法，包括：当检测到元数据写入时，判断收集器容量是否达到高位容量值；若否，通过主存储器将所述元数据存入所述收集器；若是，利用辅助存储器将所述收集器中过期元数据转移至所述磁盘后，通过主存储器将所述元数据存入所述收集器；所述过期元数据为超过预设时长未被访问的元数据。本申请可以确保收集器中的数据量始终小于高位容量值，降低过量元数据对于收集器的存储压力，同时将过期元数据移除至磁盘，保证收集器中均为热度较高的元数据，有助于实现热点元数据的快速访问。对元数据操作没有性能损耗，保证存储集群的稳定性。本申请还提供一种元数据的存储系统、计算机可读存储介质和电子设备，具有上述有益效果。

技术领域

本申请涉及数据存储领域，特别涉及一种元数据的存储方法、系统及相关装置。

背景技术

当集群中文件数较多时，对NameNode(管理文件系统的命名空间，用于维护着文件系统树及整棵树内所有的文件和目录)造成较大压力，导致NameNode服务异常的问题。NameNode将完整的元数据存放在内存中，能够为元数据的访问提供快速的响应速度，但是当集群文件数较多时，将对NameNode的内存造成较大的压力。每个文件的元数据在内存中约占用1KB的空间，当集群中有一亿个文件时，用于存放元数据的堆空间将达到100GB，而Heap(堆内存)的大小通常设置在64GB以下，因为Heap较大时GC将成为一个大问题。

为了解决这个问题，Hadoop开源社区提出了RBF解决方案，这种方案基于路由技术将数据存储到多套Hadoop集群中，集群之间存在数据均衡问题，而且增加了部署难度。

发明内容

本申请的目的是提供一种元数据的存储方法、存储系统、计算机可读存储介质和电子设备，能够降低元数据存储压力，从而提高热点元数据的访问速度。

为解决上述技术问题，本申请提供一种元数据的存储方法，具体技术方案如下：

当检测到元数据写入时，判断收集器容量是否达到高位容量值；所述收集器位于内存中；

若否，通过主存储器将所述元数据存入所述收集器；

若是，利用辅助存储器将所述收集器中过期元数据转移至所述磁盘后，通过主存储器将所述元数据存入所述收集器；所述过期元数据为超过预设时长未被访问的元数据。

可选的，利用所述辅助存储器将所述收集器中过期元数据转移至所述磁盘前，还包括：

根据所述收集器容量的低位容量值确认所述过期元数据。

可选的，根据所述收集器容量的低位容量值确认所述过期元数据包括：

确认所述收集器中各所述元数据的最近被访问时间；

将最近被访问时间超过所述预设时长的元数据作为所述过期元数据，并配置所述过期元数据的访问状态为不可访问。

可选的，利用辅助存储器将所述收集器中过期元数据转移至所述磁盘包括：

将所述过期元数据迁移至预设集合，再利用所述辅助存储器将所述预设集合中的过期元数据转移至所述磁盘，并在所述收集器中对应清除所述过期元数据。

可选的，还包括：

将第一操作集存于所述主存储器，将第二操作集存于所述辅助存储器；所述第一操作集用于提供基于内存的元数据存储操作，所述第二操作集用于提供基于磁盘的元数据存储操作。

可选的，当检测到元数据查询操作时，还包括：

判断所述主存储器是否加载出所述元数据查询操作对应的目标元数据；

若是，直接返回所述目标元数据；

若否，通过所述辅助存储器加载所述目标元数据。