[发明专利]一种数据处理方法及装置

权利要求书

1.一种数据处理方法，应用于分布式存储系统Ceph集群的监视器，其特征在于，该方法包括：

对于所述Ceph集群的任一存储池pool，当该pool的副本数与被指定为故障域的桶bucket节点的数量相等时，将该pool加入该bucket节点对应的第一类型pool组；

对于任一第一类型pool组，当该第一类型pool组的第一理论存储使用率小于预设使用率阈值时，触发该第一类型pool组对应的bucket节点之间的存储单元迁移，以使迁移后该第一类型pool组的第二理论存储使用率大于所述第一理论存储使用率，并在迁移完成后更新该第一类型pool组对应的可扩展哈希下的受控复制CRUSH信息图；

其中，第一类型pool组的理论存储使用率为第一类型pool组对应的多个bucket节点中，权重最小的bucket节点的权重与该多个bucket节点的权重的平均值的比值。

2.根据权利要求1所述的方法，其特征在于，所述触发该第一类型pool组对应的bucket节点之间的存储单元迁移，包括：

以所述第二理论存储使用率大于等于所述预设使用率阈值的原则对该第一类型pool组对应的bucket节点之间的存储单元进行迁移；

当不存在使所述第二理论存储使用率大于等于所述预设使用率阈值的迁移方案时，以所述第二理论存储使用率与所述预设使用率阈值二者之间的差值的绝对值最小的原则对该第一类型pool组对应的bucket节点之间的存储单元进行迁移。

3.根据权利要求2所述的方法，其特征在于，所述触发该第一类型pool组对应的bucket节点之间的存储单元迁移，还包括：

当存在多个使所述第二理论存储使用率大于等于所述预设使用率阈值的迁移方案，或存在多个使所述第二理论存储使用率与所述预设使用率阈值二者之间的差值的绝对值最小的迁移方案时，通过以下原则中的一个或多个确定实际使用的迁移方案：

迁出存储单元数量少的迁移方案优先、有迁出存储单元的bucket节点数多的迁移方案优先、相同bucket节点迁出的存储单元分布集中的迁移方案优先。

4.根据权利要求1所述的方法，其特征在于，所述触发该第一类型pool组对应的bucket节点之间的存储单元迁移之后，还包括：

当检测到针对该第一类型pool组对应的bucket节点的存储单元增删操作时，确定该第一类型pool组未进行存储单元迁移的情况下，进行该增删操作后的第三理论存储使用率；

当所述第三理论存储使用率大于所述第二理论存储使用率时，删除该第一类型pool组，将该第一类型pool组中的各pool加入第二类型pool组，并重新确定已经加入第二类型pool组的原第一类型pool组中的各pool中的归置组PG与对象存储设备OSD的映射关系；其中，所述Ceph集群中各pool组初始状态默认归属于所述第二类型pool组。

5.根据权利要求1所述的方法，其特征在于，所述触发该第一类型pool组对应的bucket节点之间的存储单元迁移之后，还包括：

对于该第一类型pool组中任一PG，当该PG对应的全部OSD物理归属于同一个bucket节点时，从该PG对应的全部OSD中选择一个虚OSD，删除该PG与该虚OSD的映射关系，并在该虚OSD逻辑归属的bucket节点中重新计算出一个OSD，该OSD与该PG对应的其它OSD物理归属于不同bucket节点；

其中，虚OSD为逻辑归属和物理归属于不同bucket节点的OSD。

6.根据权利要求1所述的方法，其特征在于，所述将该pool加入该bucket节点对应的第一类型pool组之后，还包括：

维护pool与第一类型pool组的对应关系，并将所述pool与第一类型pool组的对应关系下发给Ceph集群节点及客户端，以使所述客户端根据所述pool与第一类型pool组的对应关系进行数据读写处理。