[发明专利]数据存储方法、装置、介质、设备及分布式文件系统

说明书

本公开的实施例提供了一种数据存储方法、装置、介质、设备及分布式文件系统，涉及数据处理技术领域。该方法包括：启动元数据分析进程，并基于元数据分析进程从元数据管理节点获取待分析元数据；通过元数据分析进程对待分析元数据进行解析处理，得到待存储元数据；基于元数据分析进程将待存储元数据存储到目标数据库中。本公开实施例的技术方案能够降低分布式文件系统处理数据时对内存的消耗，提升元数据的解析性能。

背景技术

本部分旨在为权利要求书中陈述的本公开的实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着科学技术的飞速发展，分布式文件系统(Distributed File System，DFS)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点(可简单的理解为一台计算机)相连；或是若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整的有层次的文件系统。Hadoop分布式文件系统(Hadoop Distributed FileSystem，HDFS)是一个被设计成适合运行在通用硬件(Commodity Hardware)上的分布式文件系统。

相关的数据管理方案中，是通过管理节点数据分析服务NameNode analysis对HDFS中的元数据进行分析管理。NameNode analysis复用了管理节点NameNode的对元数据的处理逻辑，会将所有的元数据信息存储在内存中，并在内存中构建与NameNode一致的元数据文件目录树。NameNode analysis的所有针对元数据的请求，需要对元数据文件目录树进行全局的扫描工作。

发明内容

但是，目前的数据管理方案中，一方面，由于NameNode analysis复用了管理节点NameNode的对元数据的处理逻辑，会在内存中构建与NameNode一致的元数据文件目录树，因此NameNode analysis会产生较高的内存消耗，对系统内存负担较大，降低系统性能；另一方面，NameNode使用了一种合成机制，该机制会定时的把旧的元数据文件进行合并，而NameNode analysis通过存算一体的方式解析元数据并存储，这样会导致NameNodeanalysis由于自身解析性能的瓶颈，在NameNode触发合成机制前，来不及解析所有的元数据文件，进而使得整个服务启动失败，降低了系统的稳定性以及数据处理效率。

因此在现有技术中，难以达到令人满意的数据管理方案。

为此，非常需要一种改进的数据存储方法，以使得能够降低对分布式文件系统的内存消耗，提升系统性能，同时能够在NameNode合并元数据文件之前及时解析处理元数据文件，提升系统稳定性，提升系统的数据处理效率。

在本上下文中，本公开的实施例期望提供一种数据存储方法、数据存储装置、计算机可读存储介质以及电子设备。

在本公开实施例的第一方面中，提供了一种数据存储方法，应用于分布式文件系统，所述分布式文件系统包括元数据管理节点、基于存算解耦模式的元数据分析进程和采用键值对存储形式的目标数据库，该方法包括：

启动所述元数据分析进程，并基于所述元数据分析进程从所述元数据管理节点获取待分析元数据；

通过所述元数据分析进程对所述待分析元数据进行解析处理，得到待存储元数据；

基于所述元数据分析进程将所述待存储元数据存储到所述目标数据库中。

在本公开的一些实施例中，基于前述方案，所述元数据分析进程包括解析计算单线程和存储队列，所述通过所述元数据分析进程对所述待分析元数据进行解析处理，得到待存储元数据，包括：

通过所述解析计算单线程对所述待分析元数据进行解析处理，得到待存储元数据；以及

将所述待存储元数据存储到所述存储队列中。