[发明专利]一种面向内存云的元数据目录结构实现方法

说明书

本发明的面向内存云的元数据目录结构实现方法，采用目录树的形式，将目录结构与目录节点内容进行分离，提高节点内容可变的灵活性，每个目录节点单独增设简称pid字段，子节点的pid字段指向父节点的fileid字段，并对pid字段添加二级索引，当用户检索目录的时候，利用pid二级索引、Key‑Value和内存存储的优势，提高目录检索效率，挂载效率也得到了很大的提升。

技术领域

本发明涉及计算机领域，涉及一种一种面向内存云的元数据目录结构实现方法。

背景技术

内存云(RAMCloud)是一种Key-Value型新型数据中心存储系统，它是由成千上万台普通服务器的主存所组成的大规模系统，任何时候、所有信息都存储在这些快速的DRAM(动态随机访问存储器，即俗称的内存)中，内存取代了传统系统中的硬盘，而硬盘只作为备份使用。内存云的集群主要由主服务器(Master)和备份服务器(Backup)组成，其中，Master用来存储和计算；Backup则是用来重启系统之后的快速恢复。此外，集群中还有一个协调器(Coordinator)，它的功能类似于Hadoop分布式文件系统中的NameNode节点，负责管理配置信息等功能。

RAMCloud将所有数据存放在DRAM中，性能可以达到比目前最高性能的硬盘存储系统还要高100～1000倍。在访问延迟方面，RAMCloud方案中运行在应用服务器中的一个进程从同一数据中心的存储服务器中通过网络读取数百字节数据只需5～10μs，而目前实际系统一般要花费0.5～10ms，具体取决于数据是在服务器内存缓存中，还是硬盘中。而且，一台多核存储服务器每秒可以服务至少100万次读取请求。而硬盘系统中同样的机器每秒只能服务1000～10000次请求。由此可见，内存云将会是未来存储中一大重要突破点。

传统的高能物理元数据通过采用磁盘存储，利用Mysq1数据库存储其目录结构以及元数据信息，能够满足TB级别的数据量产生的元数据目录结构的检索。而在EB级别的情况下，由于其目录结构较深，检索性能已经明显不能满足应用对元数据目录的访问需求。

发明内容

本发明的目的在于克服现有技术不足，提供一种面向内存云的元数据目录结构实现方法，将目录结构与目录节点内容分离，克服现有内存云元数据目录结构较深，检索性能较低的问题。

为实现上述目的本发明采用如下方案：

一种面向内存云的元数据目录结构实现方法，包括如下步骤：

1)采用RAMCloud内存数据库，定义目录结构树，每个节点定义fileid字段和pid字段，数据字段根据需要进行赋值，子节点的pid字段指向父节点的fileid字段；

2)分别定义TABLE_INDEX表和TABLE_DATA表将目录结构和目录信息内容分离；TABLE_INDEX表用于存放目录结构，以pid和name作为key，fileid作为value；TABLE_DATA表用于存放节点内容，以fileid作为key，节点其他信息封装成统一的结构体作为value；

3)增加二级索引机制，定义内存云中的索引IndexKey：：IndexKeyRange类型，由pid+name和单独的pid形成复合Key，VALUE为fileid和查询结果为fileid集合的复合VALUE，定义范围查找IndexLookup类型，通过IndexLookup循环检索子目录；

4)即TABLE_DATA表的KEY是TABLE_INDEX表的VALUE，当用户检索某个文件时，首先会检索目录结构，当检索到文件所在的目录并得到目的节点的fileid，再通过TABLE_DATA表将fileid作为key来获取文件内容。