[发明专利]一种对象存储方法、装置、设备及计算机可读存储介质

说明书

本发明公开了一种对象存储方法、装置、设备及计算机可读存储介质，其中该方法包括：读取存储于不同聚合文件中的属于同一对象的全部数据碎片；判断读取到的数据碎片的数量是否大于数量阈值，如果是，则将全部数据碎片回写到同一个聚合文件中供读取，如果否，则确定无需将所述数据碎片回写到同一个聚合文件中。本发明的技术方案中，在读取对象对读操作的时延及性能影响严重时将对象的全部数据碎片回写到一个聚合文件中，由这一个聚合文件中读取对象相对于由多个聚合文件中分别读取得到对象大大降低了读操作的时延，提高了读操作的性能。

技术领域

本发明涉及数据存储技术领域，更具体地说，涉及一种对象存储方法、装置、设备及计算机可读存储介质。

背景技术

在分布式存储系统中，本地对象存储位于最底层，目前主流的本地对象存储引擎为FileStore，其基于本地的xfs文件系统实现，对象数据(本地对象的数据)保存在一个固定大小的文件中(默认为4MB)，本地对象的元数据保存在文件的扩展属性或者本地独立的KV数据库中。系统运行一段时间后，磁盘上会存储大量的对象文件(本地对象对应的文件)。

在FileStore的基础上，通过对象聚合的方式减少了对象文件的个数，同时将小文件的随机IO变成了线性IO、修改写变成了追加写，提高了海量小文件场景下数据的写入性能。但是这种方式在某些场景下牺牲了读性能，由于在同一时间内所有的对象数据都被追加写到同一个聚合文件中，且写入操作是并发执行的，导致同一个本地对象的不同对象数据会被写到多个不同的聚合文件中，在小块随机读写的场景下，这种现象尤其明显。那么在需要实现本地对象的读取时，则需要获取本地对象的索引信息，该索引信息中包括本地对象有几个数据碎片，每个数据碎片在本地对象中的偏移量及长度、所在聚合文件的编号及偏移量等信息；然后分别从各个聚合文件中读取数据碎片，合并后返回。这种方式导致读操作的时延变高，性能降低。

综上所述，现有技术中对于本地对象的读取存在读操作的时延较高、性能较低的问题。

发明内容

本发明的目的是提供一种对象存储方法、装置、设备及计算机可读存储介质，以解决现有技术中对于本地对象的读取存在的读操作的时延较高、性能较低的问题。

为了实现上述目的，本发明提供如下技术方案：

一种对象存储方法，包括：

读取存储于不同聚合文件中的属于同一对象的全部数据碎片；

判断读取到的数据碎片的数量是否大于数量阈值，如果是，则将全部数据碎片回写到同一个聚合文件中供读取，如果否，则确定无需将所述数据碎片回写到同一个聚合文件中。

优选的，读取存储于不同聚合文件中的属于同一对象的全部数据碎片之后，还包括：

判断对所述对象的访问是否处于一写多读的场景，如果是，则将全部数据碎片回写到同一个聚合文件中供读取，如果否，则确定无需将所述数据碎片回写到同一个聚合文件中。

优选的，读取存储于不同聚合文件中的属于同一对象的全部数据碎片之后，还包括：

判断所述对象所属的存储系统当前的负载值是否小于预设负载值，如果是，则将全部数据碎片回写到同一个聚合文件中供读取，如果否，则确定无需将所述数据碎片回写到同一个聚合文件中。

优选的，将全部数据碎片回写到同一个聚合文件中之后，还包括：

将所述对象的索引信息设置为将所述数据碎片写入至的聚合文件的位置信息。

优选的，读取存储于不同聚合文件中的属于同一对象的全部数据碎片之后，还包括：

将全部数据碎片存储至缓存中供读取，所述缓存的存储规则为当所述缓存的存储空间被全部占用时，将所述缓存中存储的距离当前时刻最远被使用的数据删除。