[发明专利]一种平衡元数据集群负载的方法及装置

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种平衡元数据集群负载的方法及装置。

背景技术

文件系统是指操作系统中负责管理和存储文件信息的软件机构称为文件管理系统。现有文件系统主要可以分为元数据管理和数据管理两个部分，元数据为描述数据的数据，主要是描述数据属性的信息，元数据算是一种电子式目录，为了达到编制目录的目的，必须在描述并收藏数据的内容或特色，进而达成协助数据检索的目的。经统计发现，文件系统所有请求中50％以上的请求属于元数据的请求，因此，可以通过提高元数据请求的处理性能的方式来提高整个文件系统的性能。

两个及两个以上数量的元数据节点可以构成元数据集群，在具有多个元数据节点的系统里，每个元数据节点下都有属于自己的目录结构，新建的子目录属于父目录所属的元数据节点负载，如果某个元数据下面的目录内容的访问量增多，此元数据节点负载压力将增加，此元数据节点就为热点元数据节点。这时，如果多个用户同时访问此元数据节点下面的文件，此元数据节点热度将持续增高，若是再在此元数据节点下的热点目录下新建子目录，则会造成此元数据节点负载与其他元数据节点负载极度不平衡的情况，整体元数据集群性能降低，例如，如图1所示的现有机制目录结构图，共有三个元数据节点，分别为0号元数据节点、1号元数据节点和2号元数节点，在创建A、B、C的子目录/子文件时，仍是A、B、C所在的元数据节点下进行创建，如果某一时间访问目录a的数量增多，造成0号元数据节点变为热点元数据节点。

发明人经过研究发现，现有技术中，解决元数据节点负载极度不平衡的方法为通过手动执行命令把热点元数据节点中热点目录进行分离，例如，如图1所示，现有技术手段是把目录aa分给热度值较低的的1号元数据节点或2号元数据节点，以达到给0号元数据节点减轻压力的作用，但是现有技术是在元数据节点变为热点元数据节点后，才去执行解决办法，已经出现了元数据集群负载不平衡、文件系统整体性能降低的情况。

发明内容

本发明所要解决的技术问题是，提供一种平衡元数据集群负载方法和装置，在热度值最小的元数据节点下创建新目录，预先就避免了元数据节点变为热点元数据节点，实现了元数据集群负载的平衡。

第一方面，本发明实施例提供了一种平衡元数据集群负载的方法，该方法包括：

接收客户端发送的创建新目录的请求；

获得集群中所有元数据节点的热度值；

确定所述热度值最小的元数据节点为分配的元数据节点；

在所述分配的元数据节点下创建所述新目录。

优选的，所述获得集群中所有元数据节点的热度值，包括：

调用元数据集群目录热度统计模块，所述元数据集群目录热度统计模块是预先构造用于计算元数据节点的热度值的模块；

通过元数据集群目录热度统计模块计算所述集群中所有元数据节点的热度值，获得集群中所有元数据节点的热度值。

优选的，所述元数据节点的热度值与所述元数据节点下目录数量成正比。

优选的，所述元数据节点的热度值与所述元数据节点下目录内容的访问频率成正比。

优选的，若所述热度值最小的元数据节点为多个时，所述确定所述热度值最小的元数据节点为分配的元数据节点具体为：

确定多个所述热度值最小的元数据节点中节点标号最小的元数据节点为分配的元数据节点。

第二方面，本发明实施例提供了一种平衡元数据集群负载的装置，包括：

接收单元，用于接收客户端发送的创建新目录的请求；

获得单元，用于获得集群中所有元数据节点的热度值；

确定单元，用于确定所述热度值最小的元数据节点为分配的元数据节点；

创建单元，用于在所述分配的元数据节点下创建所述新目录。

优选的，所述获得单元包括调用子单元和获得子单元：

所述调用子单元，用于调用元数据集群目录热度统计模块，所述元数据集群目录热度统计模块是预先构造用于计算元数据节点的热度值的模块；

所述获得子单元，用于通过元数据集群目录热度统计模块计算所述集群中所有元数据节点的热度值，获得集群中所有元数据节点的热度值。

优选的，所述元数据节点的热度值与所述元数据节点下目录数量成正比。

优选的，所述元数据节点的热度值与所述元数据节点下目录内容的访问量成正比。