[发明专利]一种实现元数据集群的方法及元数据集群

说明书

技术领域

本发明涉及数据管理技术，尤指一种实现元数据集群的方法及元数据集群。

背景技术

现如今大数据时代的兴起，不仅引起了海量数据的数据挖掘，同样也带动了海量数据的存储。在移动互联网爆发的同时，大量的数据的存储变成了业内普遍存在的问题。如何保证千万级，亿级的数据量，PB级的存储的可靠性，高效性，成了业内普遍研究的问题。从小规模公司到大规模公司，都会存在这样的问题，尤其是互联网公司每日产生的用户日志、数据和信息等等的存储。

一般在分布式系统中，尤其是分布式文件系统中，对于元数据的存储是独立存储。在分布式文件系统中，元数据只是描述文件存储位置、属性以及文件副本等信息的数据。这些数据一般是独立存储在单独的服务器中。例如，HDFS、lustre分布式文件系统，但是以上文件系统为防止单点故障，均采用的是HA，双机互备的方案，但是往往两个节点无法满足继续扩展的集群规模，所以一些分布式文件系统例如，ceph等，采用的集群式的管理元数据。但是，在集群中的元数据服务器实现性能和一致性的双重保证往往是个难题。

发明内容

为了解决上述技术问题，本发明提供了一种实现元数据集群的方法及元数据集群，能够实现元数据集群性能的线性扩展，以及极高的可用性和可靠性。

为了达到本发明目的，本发明提供了一种实现元数据集群的方法，所述元数据集群包含N(N＞1)个节点，所述N个节点共享同一个虚拟IP地址，所述N个节点中包含一个主节点和至少一个从节点，所述方法包括：

所述主节点接收客户端发送的操作元数据命令；

所述主节点在根据所述操作元数据命令修改元数据的同时，向元数据集群中的从节点发送组播包，所述组播包中携带元数据修改信息，指示所述从节点修改元数据；

所述主节点接收从节点返回的成功消息，在返回成功消息的从节点的数目达到配置的数量M(M＞0)时，即确认所述组播包发送成功，向所述客户端返回成功结果，并记录返回成功消息的从节点的目录。

进一步地，所述方法还包括：

如果所述主节点宕机，则多个节点编号靠前的从节点协商获取主节点权限，所述多个节点编号靠前的从节点为所述目录中的从节点。

进一步地，所述方法还包括：

所述主节点接收客户端发送的查询命令，采用哈希的方式将查询命令转发给从节点，完成客户端请求的查询。

进一步地，一种实现元数据集群的方法，所述元数据集群包含N(N＞1)个节点，所述N个节点共享同一个虚拟IP地址，所述N个节点中包含一个主节点和至少一个从节点，所述方法包括：

所述从节点接收主节点发送的组播包，所述组播包中携带元数据修改信息，根据所述组播包修改元数据；

所述从节点向所述主节点返回成功消息。

进一步地，所述方法还包括：

所述从节点接收主节点采用哈希的方式转发的查询命令，根据所述查询命令完成客户端请求的查询。

进一步地，一种元数据集群，包含N(N＞1)个节点，所述N个节点共享同一个虚拟IP地址，所述N个节点中包含一个主节点和至少一个从节点，其中：

所述主节点，用于接收客户端发送的操作元数据命令，在根据所述操作元数据命令修改元数据的同时，向元数据集群中的从节点发送组播包，所述组播包中携带元数据修改信息，指示所述从节点修改元数据；并接收从节点返回的成功消息，在返回成功消息的从节点的数目达到配置的数量M(M＞0)时，即确认所述组播包发送成功，向所述客户端返回成功结果，并记录返回成功消息的从节点的目录。

进一步地，所述从节点，用于在所述主节点宕机时，多个节点编号靠前的从节点协商获取主节点权限，所述多个节点编号靠前的从节点为所述目录中的从节点。

进一步地，所述主节点，还用于接收客户端发送的查询命令，采用哈希的方式将查询命令转发给从节点，完成客户端请求的查询。

进一步地，所述从节点，用于接收主节点发送的组播包，所述组播包中携带元数据修改信息，根据所述组播包修改元数据；并向所述主节点返回成功消息。

进一步地，所述从节点，还用于接收主节点采用哈希的方式转发的查询命令，根据所述查询命令完成客户端请求的查询。