[发明专利]一种分片处理方法、系统、存储介质及设备

说明书

本发明提供了一种分片处理方法、系统、存储介质及设备，方法包括以下步骤：在预设周期内按预定时间间隔定期获取各节点的时间信息；响应于周期到期，判断各节点的相邻时间信息的差值是否等于时间间隔；响应于有节点的相邻时间信息的差值不等于时间间隔，则将除节点外的其他节点的网关识别为有效网关；遍历所有分片，并基于遍历结果对应排布所有分片并且使得各有效网关对排布后的分片进行处理。本发明通过筛选有效网关，有利于分片处理的有效性和稳定性；通过设置对应排布的方法将所有分片对应到各网关，相比于现有技术中每个网关都分别对所有分片进行处理，提高了分片处理的效率，提升了分片处理的性能，且节省了存储空间，提高了磁盘利用率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种分片处理方法、系统、存储介质及设备。

背景技术

目前，rgw网关读取桶分片上需要聚合的小对象信息时，会首先对桶分片加锁，然后列举出桶分片上需要聚合的小对象信息，最后解锁。但是，一个集群中有多个rgw网关，当其中一个rgw网关读取某个桶分片时会对该分片加锁，其他网关要读取该分片时，就会等待解锁耗费大量时间，导致扫描小对象信息的性能十分低下。

发明内容

有鉴于此，本发明的目的在于提出一种分片处理方法、系统、存储介质及设备，用以解决现有技术中桶分片处理性能低下的问题。

基于上述目的，本发明提供了一种分片处理方法，包括如下步骤：

在预设周期内按预定时间间隔定期获取各节点的时间信息；

响应于周期到期，判断各节点的相邻时间信息的差值是否等于时间间隔；

响应于有节点的相邻时间信息的差值不等于时间间隔，则将除节点外的其他节点的网关识别为有效网关；

遍历所有分片，并基于遍历结果对应排布所有分片并且使得各有效网关对排布后的分片进行处理。

在一些实施例中，在预设周期内按预定时间间隔定期获取各节点的时间信息包括：在预设周期内按预定时间间隔定期获取各节点的主机名和时间信息并将其存放在网关信息表中。

在一些实施例中，响应于周期到期，判断各节点的相邻时间信息的差值是否等于时间间隔包括：获取网关信息表中的主机名和其对应的时间信息，并判断相同主机名对应的相邻时间信息的差值是否等于时间间隔。

在一些实施例中，响应于有节点的相邻时间信息的差值不等于时间间隔，则将除节点外的其他节点的网关识别为有效网关包括：响应于相同主机名对应的相邻时间信息的差值大于时间间隔，则将节点的网关识别为故障网关，且将其他节点的网关识别为有效网关，并将各有效网关依次有序存放在有效网关表中。

在一些实施例中，遍历结果包括所有分片的总数量和各分片的分片号，其中，各分片的分片号依次递增。

在一些实施例中，对应排布包括：

响应于所有分片的总数量小于等于所有有效网关的总数量，将各分片按照分片号递增的顺序依次对应到有序排列的有效网关；

响应于所有分片的总数量大于所有有效网关的总数量，将顺序在前的各分片按照分片号递增的顺序依次对应到有序排列的有效网关，并将顺序在后的各分片再次按照分片号递增的顺序依次对应到有序排列的有效网关，重复直到所有的分片都对应到有效网关。

在一些实施例中，所有分片存储于bucket中。

本发明的另一方面，还提供了一种分片处理系统，包括：

时间信息获取模块，配置用于在预设周期内按预定时间间隔定期获取各节点的时间信息；

判断模块，配置用于响应于周期到期，判断各节点的相邻时间信息的差值是否等于时间间隔；