[发明专利]一种元数据存储方法、装置、设备及计算机可读存储介质

说明书

本发明公开了一种基于分布式集群存储系统的元数据存储方法，包括：在第一目标文件被修改或者创建时，将目录列表中存储的与第一目标文件对应的脏元数据指针存入脏元数据列表；在执行脏元数据落盘操作时，仅扫描脏元数据列表中的脏元数据指针，将与脏元数据列表对应的脏元数据落盘至数据池。可见，在本方案中，由于在对文件执行修改或者创建操作时，已经将被修改的元数据的脏元数据指针存入脏元数据列表，因此在执行脏元数据落盘操作时，只需要扫描脏元数据列表便可将脏元数据落盘至数据池，从而节省脏元数据落盘时间，提高脏元数据落盘性能；本发明还公开了一种元数据存储装置、设备及计算机可读存储介质，同样能实现上述技术效果。

技术领域

本发明涉及元数据落盘技术领域，更具体地说，涉及一种基于分布式集群存储系统的元数据存储方法、装置、设备及计算机可读存储介质。

背景技术

在分布式集群存储在海量数据场景下广泛应用，如在高性能、视频监控、广电媒资等场景。目前，存储的性能是分布式存储一致追逐的目标，其中对于海量小文件场景，元数据性能则成为瓶颈。文件创建或修改后，元数据需要进行落盘存储。当前，落盘是以目录为单位，扫描整个目录，将脏元数据进行落盘，如果目录下文件数量非常巨大，该扫描需要耗费大量时间，落盘性能会随着目录的变大而逐渐下降。

因此，如何节省脏元数据落盘时间，提高脏元数据落盘性能，是本领域技术人员需要解决的问题。

发明内容

本发明的目的在于提供一种基于分布式集群存储系统的元数据存储方法、装置、设备及计算机可读存储介质，以实现节省脏元数据落盘时间，提高脏元数据落盘性能。

为实现上述目的，本发明实施例提供了如下技术方案：

一种基于分布式集群存储系统的元数据存储方法，包括：

在第一目标文件被修改或者创建时，将目录列表中存储的与所述第一目标文件对应的脏元数据指针存入脏元数据列表；

在执行脏元数据落盘操作时，仅扫描所述脏元数据列表中的脏元数据指针，将与所述脏元数据列表对应的脏元数据落盘至数据池。

其中，所述将与所述脏元数据列表对应的脏元数据落盘至数据池之后，还包括：

将所述脏元数据列表中已经落盘至数据池的脏元数据指针置为Clean状态。

其中，本方案还包括：

判断元数据服务器中缓存的元数据是否超过预定阈值；

若是，则删除元数据指针状态为Clean的元数据指针及对应的元数据。

其中，本方案还包括：

在第二目标文件被修改时，判断是否能根据所述脏元数据列表查找到与所述第二目标文件对应的元数据；

若能，则根据所述脏元数据列表对与所述第二目标文件对应的元数据进行修改，并将所述脏元数据列表中与所述第二目标文件对应的元数据指针置为Dirty状态；其中，置为Dirty状态的元数据指针即为脏元数据指针；

若不能，判断是否能根据所述目录列表查找到与所述第二目标文件对应的元数据；若能查找到，则根据所述目录列表对与所述第二目标文件对应的元数据进行修改，并将所述目录列表中与所述第二目标文件对应的元数据指针置为Dirty状态，并加入所述脏元数据列表；

若查找不到，则从数据池中加载与所述第二目标文件的元数据并修改。

一种基于分布式集群存储系统的元数据存储装置，包括：

脏元数据指针存储模块，用于在第一目标文件被修改或者创建时，将目录列表中存储的与所述第一目标文件对应的脏元数据指针存入脏元数据列表；