[发明专利]处理HDFS元数据的方法及系统

权利要求书

1.一种处理HDFS元数据的方法，其特征在于，包括：

建立基于数据库Cassandra的内存集群；

将分布式文件系统HDFS元数据存储到Cassandra集群中的分布式数据库；

对存储到Cassandra集群中的分布式数据库的HDFS元数据进行处理操作。

2.根据权利要求1所述的方法，其特征在于：

所述将HDFS元数据存储到Cassandra集群中的分布式数据库包括：

将HDFS元数据通过冗余复制存储到Cassandra集群中的分布式数据库。

3.根据权利要求2所述的方法，其特征在于：

所述将HDFS元数据通过冗余复制存储到Cassandra集群中的分布式数据库包括：

将每份HDFS元数据在Cassandra集群的内存中的N个节点形成冗余，所述N大于1。

4.根据权利要求1所述的方法，其特征在于：

所述建立基于Cassandra的内存集群包括：

采用点对点P2P分布式技术建立基于Cassandra的内存集群，结合一致性哈希算法将所述内存集群形成一个环状。

5.根据权利要求1所述的方法，其特征在于：

所述对存储到Cassandra集群中的分布式数据库的HDFS元数据进行处理操作包括：

对存储到Cassandra集群中的分布式数据库的HDFS元数据进行至少以下一项操作：查询、插入、删除。

6.根据权利要求5所述的方法，其特征在于：

所述删除包括：修改Cassandra在内存中的数据删除策略，在Cassandra增加内存记录的删除。

7.根据权利要求5所述的方法，其特征在于：

所述对存储到Cassandra集群中的分布式数据库的HDFS元数据进行处理操作还包括：改造Cassandra集群的归并操作，使得错开Cassandra集群的归并操作同HDFS元数据的读写操作。

8.一种数据库系统，其特征在于：

包括至少一个以上内存集群服务器节点；

所述至少一个以上内存集群服务器节点建立基于Cassandra的内存集群；

所述内存集群服务器节点对存储到Cassandra集群中的分布式数据库的HDFS元数据进行处理操作。

9.根据权利要求8所述的系统，其特征在于：

所述内存集群服务器节点包括请求协调器、集群协调器、元数据RID模块；

请求协调器，用于接收对HDFS元数据的操作请求；

集群协调器，采用P2P分布式技术建立基于Cassandra的内存集群，结合一致性哈希算法将所述内存集群形成一个环状；

元数据RID模块，根据请求协调器的请求，对存储到Cassandra集群中的分布式数据库的HDFS元数据进行处理操作，所述处理操作包括至少以下一项操作：查询、插入、删除。

10.根据权利要求9所述的系统，其特征在于：

所述内存集群服务器节点还包括受控归并模块，用于改造Cassandra集群的归并操作，使得错开Cassandra集群的归并操作同HDFS元数据的RID的读写操作。