[发明专利]一种元数据集群部署方法、装置、设备及可读存储介质

权利要求书

1.一种元数据集群部署方法，其特征在于，包括：

基于深度学习任务需要处理的元数据集的数据量大小确定节点个数，并部署与所述节点个数相等的且能够相互通信的N个节点；

将划分预设哈希结果空间得到的M个区间均衡映射至所述N个节点；其中，M≥N；

针对所述元数据集中的每个元数据，确定该元数据的哈希值所属的目标区间，查询与所述目标区间具有映射关系的目标节点，并将该元数据存储至所述目标节点，以将所述元数据集中的各个元数据均衡部署至所述N个节点，完成元数据集群的部署。

2.根据权利要求1所述的元数据集群部署方法，其特征在于，平均划分所述预设哈希结果空间得到所述M个区间。

3.根据权利要求1所述的元数据集群部署方法，其特征在于，M为所述数据量大小与N的商。

4.根据权利要求1至3任一项所述的元数据集群部署方法，其特征在于，还包括：

若所述元数据集群中的任意节点掉线，则将所述M个区间中映射至所述掉线节点的区间确定为待调整区间；

删除所述待调整区间与所述掉线节点的映射关系后，基于所述待调整区间将掉线节点中的元数据，迁移至所述元数据集群中的剩余节点或所述元数据集群中的新增节点。

5.根据权利要求4所述的元数据集群部署方法，其特征在于，所述基于所述待调整区间将掉线节点中的元数据迁移至所述元数据集群中的剩余节点或所述元数据集群中的新增节点，包括：

将所述待调整区间均衡映射至所述元数据集群中的剩余节点，并将所述掉线节点中的元数据迁移至与所述待调整区间具有映射关系的剩余节点；

或

将所述待调整区间均衡映射至所述新增节点，并将所述掉线节点中的元数据迁移至与所述待调整区间具有映射关系的新增节点。

6.根据权利要求1至3任一项所述的元数据集群部署方法，其特征在于，还包括：

将任一节点中的元数据备份至该节点的内存，以便该节点基于内存中的元数据对外提供元数据访问服务。

7.根据权利要求1至3任一项所述的元数据集群部署方法，其特征在于，任一节点对外提供元数据访问服务，包括：

任一节点接收元数据请求后，基于所述元数据请求的文件路径确定当前访问的对象元数据，并确定所述对象元数据的哈希值所属的对象区间，查询与所述对象区间具有映射关系的对象节点；

若所述对象节点为当前节点，则直接处理所述元数据请求；

若所述对象节点不是当前节点，则将所述元数据请求转发至所述对象节点，以便所述对象节点处理所述元数据请求。

8.一种元数据集群部署装置，其特征在于，包括：

确定模块，用于基于深度学习任务需要处理的元数据集的数据量大小确定节点个数，并部署与所述节点个数相等的且能够相互通信的N个节点；

映射模块，用于将划分预设哈希结果空间得到的M个区间均衡映射至所述N个节点；其中，M≥N；

部署模块，用于针对所述元数据集中的每个元数据，确定该元数据的哈希值所属的目标区间，查询与所述目标区间具有映射关系的目标节点，并将该元数据存储至所述目标节点，以将所述元数据集中的各个元数据均衡部署至所述N个节点，完成元数据集群的部署。

9.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的元数据集群部署方法。

10.一种可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的元数据集群部署方法。