[发明专利]一种数据处理方法及装置

说明书

本发明提供一种数据处理方法及装置，该方法包括：对于所述Ceph集群的任一存储池pool，当该pool的副本数与被指定为故障域的桶bucket节点的数量相等时，将该pool加入该bucket节点对应的第一类型pool组；对于任一第一类型pool组，当该第一类型pool组的第一理论存储使用率小于预设使用率阈值时，触发该第一类型pool组对应的bucket节点之间的存储单元迁移，以使迁移后该第一类型pool组的第二理论存储使用率大于所述第一理论存储使用率，并在迁移完成后更新该第一类型pool组对应的可扩展哈希下的受控复制CRUSH信息图应用本发明可以提高第一类型pool组的理论存储使用率，进而可以提高Ceph集群的存储使用率。

技术领域

本发明涉及网络通信技术领域，尤其涉及一种数据处理方法及装置。

背景技术

Ceph(分布式存储系统)是一种性能优异、高可靠性和高扩展性分布式存储系统，广泛应用于各类大中小型存储环境。通过File(文件)与object(对象)、object与PG(Placement Group，归置组)、PG与OSD(Object Storage Device，对象存储设备)三次映射完成ceph系统的寻址流程。object与PG之间通过哈希算法实现，而PG与OSD之间通过CRUSH(Controlled Replication Under Scalable Hashing，可扩展哈希下的受控复制)算法完成映射。

故障域是Ceph集群中另外一个重要概念，通过故障域的引入，与冗余策略相结合，集群可将一份数据的副本或分片优先存放在不同的故障域。在单个故障域出现异常时，仍然可以正常对外提供存储服务。

然而实践发现，在数据冗余策略指定的副本数与被指定为故障域的bucket(桶)节点的数量相等的情况下，PG均匀的映射到每一个被指定为故障域的bucket节点上，但是当不同bucket节点之间存储容量相差较大的情况下，存储容量较小的bucket节点很快会成为存储容量瓶颈，导致Ceph集群各bucket节点之间会出现巨大的存储使用率差异。当存在OSD的存储使用率达到上限(例如95％)时，此时Ceph集群不能对外提供服务，而其他大容量的节点仍然有较大的存储容量富余，导致整个Ceph集群的存储利用率较低。

发明内容

本发明提供一种数据处理方法及装置，以解决现有Ceph集群中在数据冗余策略指定的副本数与被指定为故障域的bucket节点的数量相等，且不同bucket节点之间存储容量相差较大的情况下，存储容量较小的bucket节点很快会成为存储容量瓶颈的问题。

根据本发明实施例的第一方面，提供一种数据处理方法，应用于分布式存储系统Ceph集群的监视器，该方法包括：

对于所述Ceph集群的任一存储池pool，当该pool的副本数与被指定为故障域的桶bucket节点的数量相等时，将该pool加入该bucket节点对应的第一类型pool组；

对于任一第一类型pool组，当该第一类型pool组的第一理论存储使用率小于预设使用率阈值时，触发该第一类型pool组对应的bucket节点之间的存储单元迁移，以使迁移后该第一类型pool组的第二理论存储使用率大于所述第一理论存储使用率，并在迁移完成后更新该第一类型pool组对应的可扩展哈希下的受控复制CRUSH信息图。

根据本发明实施例的第二方面，提供一种数据处理装置，应用于分布式存储系统Ceph集群的监视器，该装置包括：

pool组管理单元，用于对于所述Ceph集群的任一存储池pool，当该pool的副本数与被指定为故障域的桶bucket节点的数量相等时，将该pool加入该bucket节点对应的第一类型pool组；