[发明专利]电网调度控制系统中分布式文件系统的元数据管理方法

说明书

本发明公开一种电网调度控制系统中分布式文件系统的元数据管理方法，通过将分布式文件系统系统元数据分为基本属性、文件名称等多类数据，并采用链表管理目录下的所有文件与子目录，保持文件系统的层次关系，同时通过建立文件名与文件基本属性之间的映射关系，实现通过文件名完整路径即可快速定位文件基本属性数据。访问文件时，查找过程能够在O(1)复杂度下完成，提高了文件元数据访问性能。因此利用本发明能够提高电网调度控制系统中分布式文件访问性能，减少数据访问耗时以及元数据对内存的过多占用，满足电网调度控制系统文件访问实时性需求，并较好的适应内存资源受限的使用环境。

技术领域

本发明涉及电网调度控制系统中的数据处理技术领域，特别是一种电网调度控制系统中分布式文件系统的元数据扁平化管理方法。

背景技术

分布式文件系统是将分散的存储节点连接起来形成远超过单个存储节点容量的共享文件系统，允许通过网络共享存储在多个节点上的文件数据和存储空间，极大提高存储容量和文件访问吞吐量，并具备高可靠性和弹性扩展能力。

电网调度控制自动化系统中采用分布式文件系统存储图形文件、电网断面文件、报表文件、运行方式数据等。分布式文件系统主要包括元数据管理和文件数据管理两大部分，其中元数据管理部分主要管理文件名称、创建时间、文件大小等基本属性，以及文件存储位置、文件层次关系等信息，元数据是用来描述一个文件的特征的系统数据，整个分布式文件系统的访问入口。

现有的开源分布式文件系统HDFS中采用层次关系模式管理元数据信息，每个文件或目录占用一个元数据存储单元，每个文件存储单元中包括文件名、文件大小、创建时间、修改时间等基本属性，采用固定长度数组存储文件名称，每个目录存储单元含有一个有序数组，存放该目录下的所有文件和目录元数据。在这种元数据管理方式下，每次查找文件时，需要从根目录开始逐个层次查找，每个层次采用二分查找算法找到对应的子目录，直到找到目标文件或目录，如图1所示，假设时间复杂度为O(log2n)，当文件位置为m级层次时，总时间复杂度为m × O(log2n)。

电网调度控制系统中对系统实时性、稳定性要求非常高，但现有的开源分布式文件系统HDFS把整个文件系统的所有元数据全部放在内存中，显然并未考虑电网调度控制系统应用场景，存在的缺点主要有两方面：一是逐级查找文件耗时较长，特别是当文件所处层次较深、文件数量较多时，元数据查找会占用大量时间，降低系统并发度，增加文件访问延迟时间；二是所有元数据全部放在内存中，当系统文件数量较多时，会占用非常多的内存资源，影响系统中其他功能模块运行。

发明内容

本发明的目的是提供一种电网调度控制系统中分布式文件系统的元数据扁平化管理方法，减少数据访问耗时以及元数据对内存的过多占用，提高电网调度控制系统的实时性和可靠性。

本发明采用的技术方案如下：一种电网调度控制系统中分布式文件系统的元数据管理方法，包括：

将元数据分为至少包括文件名称类和基本属性类的多类数据，各类数据分别存储于多个数据块中，并在内存中建立文件映射；文件名称类数据包括每个文件或目录的完整路径信息，基本属性类数据包括每个文件或目录的基本属性信息；

对于各类数据，分别采用链表池方式进行数据块的管理；单个文件或目录的文件名称类数据信息与基本属性类数据信息在一映射关系链表中相互对应；

响应于接收到外部创建元数据文件请求，获取其中的文件路径信息，根据所获取的文件路径信息查找文件的父目录在基本属性类数据中的链表序号，在相应链表序号下的基本属性类数据中存储待创建元数据文件的基本属性类数据，在文件名称类数据中创建元数据文件的完整路径数据，并将元数据文件在文件名称类数据中的存储位置与在基本属性类数据中的存储位置映射存储至映射关系链表；

响应于接收到外部元数据文件访问请求，获取其中的文件名；根据映射关系链表中文件名对应的文件名称类数据与基本属性类数据之间的映射关系，确定相应的基本属性信息，进而获取相应的基本属性类数据。