[发明专利]一种元数据集群部署方法、装置、设备及可读存储介质

说明书

本申请公开了一种元数据集群部署方法、装置、设备及可读存储介质。本申请基于深度学习任务需要处理的元数据集的数据量大小确定了集群里的节点个数，并为各个节点设置了其所映射的哈希结果区间，据此可将元数据集中的各个元数据均衡部署至各个节点，使得各个节点上的元数据量相对均衡。按照该方案部署的元数据集群适用于深度学习任务，且由于所有元数据均衡分布在各个节点上，所以各个节点可均衡分担访问压力，避免个别节点的压力较大，从而可提高访问效率，有利于深度学习任务的快速执行。相应地，本申请提供的一种元数据集群部署装置、设备及可读存储介质，也同样具有上述技术效果。

技术领域

本申请涉及计算机技术领域，特别涉及一种元数据集群部署方法、装置、设备及可读存储介质。

背景技术

目前，深度学习任务涉及的元数据量较大，且任务执行过程中的并发量、访问频率较高，因此要求存储元数据的系统性能较佳。当前的元数据存储系统在面向深度学习任务时，容易出现访问热点节点，造成个别节点的压力较大，会降低访问效率，从而影响深度学习任务的执行。

因此，如何使元数据存储系统适用于深度学习任务的执行，是本领域技术人员需要解决的问题。

发明内容

有鉴于此，本申请的目的在于提供一种元数据集群部署方法、装置、设备及可读存储介质，以使元数据存储系统适用于深度学习任务的执行。其具体方案如下：

第一方面，本申请提供了一种元数据集群部署方法，包括：

基于深度学习任务需要处理的元数据集的数据量大小确定节点个数，并部署与所述节点个数相等的且能够相互通信的N个节点；

将划分预设哈希结果空间得到的M个区间均衡映射至所述N个节点；其中，M≥N；

针对所述元数据集中的每个元数据，确定该元数据的哈希值所属的目标区间，查询与所述目标区间具有映射关系的目标节点，并将该元数据存储至所述目标节点，以将所述元数据集中的各个元数据均衡部署至所述N个节点，完成元数据集群的部署。

优选地，平均划分所述预设哈希结果空间得到所述M个区间。

优选地，M为所述数据量大小与N的商。

优选地，还包括：

若所述元数据集群中的任意节点掉线，则将所述M个区间中映射至所述掉线节点的区间确定为待调整区间；

删除所述待调整区间与所述掉线节点的映射关系后，基于所述待调整区间将掉线节点中的元数据，迁移至所述元数据集群中的剩余节点或所述元数据集群中的新增节点。

优选地，所述基于所述待调整区间将掉线节点中的元数据迁移至所述元数据集群中的剩余节点或所述元数据集群中的新增节点，包括：

将所述待调整区间均衡映射至所述元数据集群中的剩余节点，并将所述掉线节点中的元数据迁移至与所述待调整区间具有映射关系的剩余节点；

或

将所述待调整区间均衡映射至所述新增节点，并将所述掉线节点中的元数据迁移至与所述待调整区间具有映射关系的新增节点。

优选地，还包括：

将任一节点中的元数据备份至该节点的内存，以便该节点基于内存中的元数据对外提供元数据访问服务。

优选地，任一节点对外提供元数据访问服务，包括：

任一节点接收元数据请求后，基于所述元数据请求的文件路径确定当前访问的对象元数据，并确定所述对象元数据的哈希值所属的对象区间，查询与所述对象区间具有映射关系的对象节点；

若所述对象节点为当前节点，则直接处理所述元数据请求；