[发明专利]分布式对象存储系统清空桶的方法、系统及装置

说明书

本申请公开了一种分布式对象存储系统清空桶的方法、系统及装置，应用于分布式存储技术领域。该方法包括：接收清空桶请求后，根据预设的线程启动规则，启动多个清空桶工作线程；其中，清空桶工作线程数小于等于桶分片数；根据清空桶请求为每个清空桶工作线程分配清空任务；每个清空桶工作线程根据分配的清空任务中记载的桶分片，并行读取清空任务中记载的桶分片中的全部对象并清空。本申请将一个清空桶任务分配给多个清空桶工作线程并行完成，提高清空速度，同时，清空桶工作线程以桶分片为基准读取桶分片中的全部对象，而不是以对象为基准进行查找，从而确保了能够一次性读取到桶分片中的全部对象进行清空，提高了清空效率。

技术领域

本申请涉及分布式存储技术领域，特别涉及一种分布式对象存储系统清空桶的方法、系统、装置及计算机可读存储介质。

背景技术

随着信息技术的发展，全球数据不断增长，人们对于海量数据的管理也越来越重视。桶是一种对象存储逻辑空间，桶分片是当某个对象上传到桶里面时，都会在桶的某个桶分片上生成一个索引信息，一个桶有若干桶分片，例如默认一个桶可以包括1024个桶分片。

一个桶内的对象数量上亿是很常见的，而在存储过程中，不可避免地产生大量过期或废弃的数据，当前清空桶内的对象是个耗时的过程。目前的对象存储提供清空桶操作为客户端先列举到对象，之后对列举到的对象进行删除，直至删除完成，耗时巨大，且没有调速手段。

现有技术中，当前的对象存储客户端（s3cmd客户端）提供了清空桶内普通对象的命令，该命令可以实现桶内普通对象的清空，然而存在以下几个缺陷：

1.以对象为目标从桶中读取并获取，因此，在对象分为多种类型的情况下，每种类型的对象需要利用不同的接口进行获取，所以现有技术中只能够清空桶内普通对象，不能删除多版本对象以及对象未上传完成的桶分片中的对象；

2.删除速度不可控，并且删除速度慢，大量对象的桶清空耗时长。

因此，我们需要提供一种便捷的清空桶方式，可以快速清空桶内对象。

发明内容

有鉴于此，本申请的目的在于提供一种分布式对象存储系统清空桶的方法、系统、装置及计算机可读存储介质，提高清空桶的效率。其具体方案如下：

一种分布式对象存储系统清空桶的方法，包括：

接收清空桶请求后，根据预设的线程启动规则，启动多个清空桶工作线程；其中，清空桶工作线程数小于等于桶分片数；

根据所述清空桶请求为每个清空桶工作线程分配清空任务；

每个清空桶工作线程根据分配的所述清空任务中记载的桶分片，并行读取所述清空任务中记载的桶分片中的全部对象并清空。

可选的，所述接收清空桶请求后，根据预设的线程启动规则，启动多个清空桶工作线程的过程，包括：

接收所述清空桶请求后，根据所述线程启动规则中记载的线程启动数量，启动相同数量的多个清空桶工作线程。

可选的，所述接收清空桶请求后，根据预设的线程启动规则，启动多个清空桶工作线程的过程，包括：

接收所述清空桶请求后，根据所述线程启动规则中记载的桶分片数量、线程数以及对象存储性能三者之间的对应关系，启动相应数量的多个清空桶工作线程。

可选的，所述对象存储性能包括内存剩余量和/或CPU负载。

可选的，还包括：

基于用户输入的调整指令对桶分片数量、线程数以及对象存储性能三者之间的对应关系中的线程数进行调整。

可选的，所述根据所述清空桶请求为每个清空桶工作线程分配清空任务，包括：

根据所述清空桶请求中记载的所需清空的桶分片数量以及所述对象存储性能，为每个清空桶工作线程分配相应的所述清空任务。