[发明专利]多对象存储桶的选择方法、装置及处理器

说明书

本申请实施例提供一种多对象存储桶的选择方法、装置、处理器及存储介质。方法包括：获取在设置的周期内，从用户端上传测试文件到各个对象存储桶的写入延迟时间；根据所述写入延迟时间，计算各个对象存储桶的上传延迟权重；根据所述上传延迟权重，利用权重随机算法，选择对应的对象存储桶，执行写入新文件操作。通过本申请的技术方案，通过比较各个对象存储桶的最近一段时间上传的平均延迟，调整每个对象存储桶所占的权重，再根据权重来选择本次写入的对象存储桶，尽可能的选中当前压力最小，延迟最低的对象存储桶，来实现整体的延迟和吞吐的提升。

技术领域

本申请涉及数据存储技术领域，具体涉及一种多对象存储桶的选择方法、装置、处理器及机器可读存储介质。

背景技术

当前云原生文件系统已成为数据湖(Data Lake)方案中的一个热点，其基本形态就是该文件系统会有一个集中的元数据服务器用于存储文件的元数据，其数据会存放在一个或者多个对象存储的桶里，用来突破云服务厂商对于单个对象存储桶的iops或者带宽限制，来提升文件系统整体的性能。

现有的技术在写新文件的时候，需要先选定一个对象存储桶用于写入，如果配置了多个对象存储桶的话，一般都是采取轮询的策略，实现比较简单，但是没有考虑到不同的桶之间是有可能出现性能差异的，因为不同的桶可能存储在不同的云服务器机架，不同的机房，甚至不同的地域，会导致客户端到对象存储桶的写入延迟本来就不一致，而且在写入压力比较大时，会遇到请求被限流的情景，所以写入操作的延迟会出现比较大的抖动，整体的迟延和吞吐没有达到最优，甚至有可能出现桶临时故障，造成写入失败。

发明内容

本申请实施例的目的是提供一种多对象存储桶的选择方法、装置、存储介质及处理器。

为了实现上述目的，本申请第一方面提供一种多对象存储桶的选择方法，包括：获取在设置的周期内，从用户端上传测试文件到各个对象存储桶的写入延迟时间；根据所述写入延迟时间，计算各个对象存储桶的上传延迟权重；根据所述上传延迟权重，利用权重随机算法，选择对应的对象存储桶，执行写入新文件操作。

在本申请实施例中，根据所述写入延迟时间，计算各个对象存储桶的上传延迟权重包括：利用公式W＝C*(1/t)计算各个对象存储桶的上传延迟权重，其中C为可变缩放系数，W为对象存储桶的上传延迟权重，t为写入延迟时间。

进一步地，如果写入延迟时间超过预设超时阈值时，设置所述对象存储桶的上传延迟权重为0。

进一步地，当设置所述对象存储桶的上传延迟权重为0时，判断该对象存储桶为故障对象存储桶，剔除写入列表。

进一步地，利用权重随机算法，选择对应的对象存储桶包括：根据各个对象存储桶的上传延迟权重，计算全部对象存储桶的上传延迟权重总和；计算各个对象存储桶的上传延迟权重比例，其中各个对象存储桶的上传延迟权重比例＝各个对象存储桶的上传延迟权重/全部对象存储桶的上传延迟权重总和；根据所述各个对象存储桶的上传延迟权重比例，计算出各个对象存储桶覆盖区域；根据所述各个对象存储桶覆盖区域，划分出各个对象存储桶的范围；利用随机数生成器生成在零至全部对象存储桶的上传延迟权重总和之间的整数；选择所述整数落在所述范围的对象存储桶作为所述对应的对象存储桶。

本申请第二方面提供一种多对象存储桶的选择装置，包括：统计模块，用于获取在设置的周期内，从用户端上传文件到各个对象存储桶的写入延迟时间；计算模块，用于根据所述写入延迟时间，计算各个对象存储桶的上传延迟权重；选择模块，根据所述上传延迟权重，利用权重随机算法，选择对应的对象存储桶，执行写入新文件操作。

在本申请实施例中，所述计算模块被配置为：利用公式W＝C*(1/t)计算各个对象存储桶的上传延迟权重，其中C为可变缩放系数，W为对象存储桶的上传延迟权重，t为写入延迟时间；如果写入延迟时间超过预设超时阈值时，设置所述对象存储桶的上传延迟权重为0，判断该对象存储桶为故障对象存储桶，剔除写入列表。