[发明专利]一种大规模存储系统元数据分布式管理方法与系统

摘要

本发明公开了一种大规模存储系统元数据分布式管理方法与系统。本发明将HDFS存储于NameNode内存中的元数据抽象成二维表的结构，以二维表的形式存储在分布式数据库中；抽象后的各二维表之间通过inode_id相互关联。Namenode成为客户端存取元数据的桥梁，客户端首先连接Namenode，Namenode来操作分布式数据库中的元数据，并将元数据返回给客户端。本发明解决了HDFS的单点故障问题。

主权项

1.一种大规模存储系统元数据分布式管理方法，其特征在于，将HDFS存储于NameNode内存中的元数据抽象成二维表的结构，以二维表的形式存储在分布式数据库中；抽象后的各二维表之间通过inode_id相互关联，其中所述二维表包括：hdfs_inodes表，用于存储各文件的文件名或者文件所在的目录名；hdfs_small_file_inode_data表，用于存储数据量小于设定阈值的文件中的数据；hdfs_lease_paths表，用于存储文件的租约；hdfs_leases表，用于存储租约持有者的信息以及持有者最后一次更新的时间；hdfs_block_infos表，用于存储文件的Block信息；hdfs_pending_blocks表，用于存储正在进行复制的Block信息；hdfs_under_replicated_blocks表，用于存储正在等待复制的Block信息及其优先级；hdfs_replicas表，用于存储每个文件的副本的位置信息；hdfs_invalidated_blocks表，用于存储无效的副本信息；hdfs_excess_replicas表，用于存储超过副本数的副本信息；hdfs_corrupt_replicas表，用于存储损坏的副本信息；hdfs_replica_under_construction表，用于临时存储客户端当前写入Block的Block副本信息；其中，所述文件为NameNode内存中存储元数据的文件。