[发明专利]分布式对象存储中动态分片方法、系统、介质及设备

说明书

本发明提供一种分布式对象存储中动态分片方法、系统、介质及设备，涉及分布式存储的技术领域，包括以下步骤：设置每个bucket的可用存储容量均为预设值，仅在当前bucket的已用存储容量达到预设值时开启下一个可用bucket；基于接收到的bucket应用请求获取用户对应的当前可用bucket；基于RGW文件网关将所述当前可用bucket地址发送至客户端，以使所述客户端基于所述当前可用bucket地址完成所述bucket应用请求对应的文件操作。本发明的分布式对象存储中动态分片方法、系统、介质及设备解决了由于bucket文件过多引发的问题，使得对象存储服务更加稳定。

技术领域

本发明涉及分布式存储技术领域，特别是涉及一种分布式对象存储中动态分片方法、系统、介质及设备。

背景技术

Ceph是一个统一的、分布式的存储系统，具有优秀的性能、可靠性和可扩展性。Ceph支持对象存储(RADOSGW)、块存储(RBD)和文件存储(CephFS)。对象存储网关(RADOSGateway，RGW)是开源的分布式对象存储服务，建立在ceph rados的基础上，提供通用的s3协议对象存储服务，可以支持PB级的存储服务。RGW提供用户指定关键字(key)来存取文件、拉列表等功能，通过桶/存储空间(bucket)来区分不同的用户。现有技术中，在bucket下的文件越来越多的情况下，无论是存取文件还是拉列表，其性能均显著地下降。分析可知，获取bucket下的某个文件信息时性能消耗较大。

如图1所示，rgw是文件网关，可扩展。osd代表一块磁盘，组1、组2、组n分别代表磁盘的主副副本组。bucket的操作get/put/list等请求先经过rgw，由rgw路由到osd分组，其中步骤1可以随机选择一个rgw，步骤2由所选择的rgw根据bucket的分片(sharding)数量以及key来算出具体在哪个shard，shard再根据crush算法算出osd组来定位具体的osd。

如图2所示，一个bucket可以对应多个shard，创建时指定数量，key到shard的算法通过类似hash(key)％shard_count来定位。由该算法可知，分片数量shard_count一旦确定，无法轻易改变，否则会导致所有的key的位置发生改变。因此，该路由规则并不利于扩展shard数量。现有技术中存在有一致性hash的解决方案，但是在量大的基础上还是会迁移很多key，也会影响线上服务。另外，若通过设置很大的shard数量来解决上述问题，则存在资源浪费的问题。一个shard在ceph里面对应的是一个rados对象，在双机房同步时需要轮循的shard任务也非常大，并且在一些请求下会出现性能下降，比如拉列表时需要聚合所有shard才能找出正确的列表顺序。

另外，rgw双活同步是禁止重新分片的。也就是说，在双机房同步时，一个bucketshard数量确定之后就不能改变，否则在同步时出现问题。为了确保数据安全且必须采用双机房同步策略，而该策略下随着bucket下的文件越来越多，若不能对bucket重新分片，则会导致数据量过大时性能出现问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种分布式对象存储中动态分片方法、系统、介质及设备，解决了由于bucket文件过多引发的问题，使得对象存储服务更加稳定。

为实现上述目的及其他相关目的，本发明提供一种分布式对象存储中动态分片方法，包括以下步骤：令分布式对象存储系统中每个bucket的可用存储容量均为预设值，仅在当前bucket已用存储容量达到预设值时开启下一个可用bucket；基于客户端发送的bucket应用请求获取当前可用bucket；基于RGW文件网关将当前可用bucket地址发送至所述客户端，以使所述客户端基于所述当前可用bucket地址完成所述bucket应用请求对应的文件操作。

本发明提供一种分布式对象存储中动态分片系统，包括：