[发明专利]对象处理方法及相关装置

说明书

本发明实施例的目的在于提供了一种对象处理方法及相关装置，涉及对象存储领域，所述方法包括：接收客户端发送的针对待写对象的写操作请求；若待写对象的大小小于第一预设阈值，则从第一存储区域中确定目标存储对象，其中，目标存储对象由至少一个待写对象按段拼接而成；将待写对象作为目标存储对象的新目标段写入至目标存储对象；若目标存储对象满足预设条件，则将目标存储对象写入至第二存储区域。本发明实施例避免了海量的小的待写对象导致的存储空间的浪费。

技术领域

本发明涉及对象存储领域，具体而言，涉及一种对象处理方法及相关装置。

背景技术

对象存储是以对象(对象包括对象数据和元数据)为基本单位的存储方式，摒弃了传统文件系统的目录层级结构，完全扁平化存储，直接根据每个对象的元数据中保存的对象标识来确定对象数据的存储位置，可以提供艾字节EB(Exabyte，EB)级的海量数据存储。

但实际应用中存在海量的非结构化小文件存储，这些文件包括图片，文档，音频等数据，大小从几KB到几十KB不等，而分布式存储本身会对每个小文件做成单独对象处理。分布式存储对裸盘的管理，例如，ceph的磁盘管理bluestore默认的最小管理单位是64KB，如果存储大量1KB的对象，那么每个最小管理单位64KB就只能存储1KB的有效数据，而浪费了63KB，浪费比例高达98％，因此如何提高海量小文件的场景下的空间利用率的问题已经成为当务之急。

发明内容

本发明实施例的目的在于提供一种对象处理方法及相关装置，提高海量小文件的场景下的空间利用率。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供一种对象处理方法，应用于分布式对象存储集群中的分布式存储节点，分布式存储节点与客户端通信连接，分布式存储节点包括第一存储区域和第二存储区域，所述方法包括：接收客户端发送的针对待写对象的写操作请求；若待写对象的大小小于第一预设阈值，则从第一存储区域中确定目标存储对象，其中，目标存储对象由至少一个待写对象按段拼接而成；将待写对象作为目标存储对象的新目标段写入至目标存储对象；若目标存储对象满足预设条件，则将目标存储对象写入至第二存储区域。

第二方面，本发明实施例提供一种对象处理装置，应用于分布式对象存储集群中的分布式存储节点，分布式存储节点与客户端通信连接，分布式存储节点包括第一存储区域和第二存储区域，所述装置包括接收模块、处理模块及写入模块，其中，接收模块，用于接收客户端发送的针对待写对象的写操作请求；处理模块，用于若待写对象的大小小于第一预设阈值，则从第一存储区域中确定目标存储对象，其中，目标存储对象由至少一个待写对象按段拼接而成；写入模块，用于将待写对象作为目标存储对象的新目标段写入至目标存储对象；若目标存储对象满足预设条件，则将目标存储对象写入至第二存储区域。

相对现有技术，本发明实施例提供一种对象处理方法及相关装置，将多个大小小于第一预设阈值的待写对象在第一存储区域中按段拼接成一个大小大于第二阈值的目标存储对象，若目标存储对象满足预设条件，则将目标存储对象存储至第二存储区域，由此保证待写对象最终都是以大小比较大的目标存储对象写入至第二存储区域，因而避免了海量的小的待写对象导致的分布式对象存储集群的存储空间的浪费，最终提高了分布式对象存储集群的存储空间的利用率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的应用场景示例图。

图2示出了本发明实施例提供的目标存储对象按段拼接的示意图。

图3示出了本发明实施例提供的对象处理方法流程图。