[发明专利]一种对象存储系统中聚合对象的同步方法和系统

说明书

本发明实施例中提供了一种对象存储系统中聚合对象的同步方法和系统，具体包括：从站点发送http请求，获取主站点的data_log中的桶分片信息；从站点通过所述桶分片信息中对象的索引信息，分析所述对象是否需要同步；若需要同步，则从站点发送get请求，获取主站点的所述对象；主站点根据所述对象的聚合特性读取所述对象的数据信息，并将所述对象的数据信息返回从站点；从站点按照预设的存储规则将所述对象的数据信息同步到从站点的存储集群中。本发明实施例提供的聚合对象的同步方法和系统，解决了对象存储系统中，站点间同步时同步特性和聚合特性不兼容的问题，提高了存储产品的适用性，提高了对象存储的竞争力。

技术领域

本发明涉及存储系统技术领域，具体涉及一种对象存储系统中聚合对象的同步方法和系统。

背景技术

随着云计算、移动互联网等技术的发展，对象存储系统中的对象呈现爆炸式增长的趋势，对象的数量多，操作频繁。

在对象存储系统中，聚合对象是将多个小于512k的小对象聚合成一个大对象。小对象中只存储该小对象的元数据信息，该小对象的数据信息存储在聚合大对象当中，聚合特性修改了对象在存储池的分布规则。

站点间同步时，从站点读取主站点的对象元数据信息和数据信息，然后写在本站点(从站点)；由于聚合特性，主站点将小对象头中的数据信息聚合在聚合大对象中，导致站点间同步时，读取对象的数据信息失败，造成了同步特性和聚合特性不兼容的问题。

发明内容

本发明实施例中提供了一种对象存储系统中聚合对象的同步方法和系统，以解决对象存储系统中，站点间同步时同步特性和聚合特性不兼容的问题。

本发明实施例公开了如下技术方案：

本发明第一方面提供了一种对象存储系统中聚合对象的同步方法，所述方法包括：

从站点发送http请求，获取主站点的data_log中的桶分片信息；

从站点通过所述桶分片信息中对象的索引信息，分析所述对象是否需要同步；

若需要同步，则从站点发送get请求，获取主站点的所述对象；

主站点根据所述对象的聚合特性读取所述对象的数据信息，并将所述对象的数据信息返回从站点；

从站点按照预设的存储规则将所述对象的数据信息同步到从站点的存储集群中。

进一步地，所述对象的索引信息按照hash规则分布在所述桶分片信息中。

进一步地，主站点根据所述对象的聚合特性读取所述对象的数据信息具体为：

若所述对象标记了聚合特性，则从主站点的SSD存储池中读取所述对象的数据信息；

若所述对象未标记聚合特性，则从主站点的SSD存储池中读取所述对象的元数据信息，并通过所述对象的元数据信息，从主站点的HDD存储池中获取所述对象的数据信息和偏移量。

进一步地，所述预设的存储规则包括分级特性和聚合特性；

分级特性，用于将对象存储在从站点的SSD存储池，为对象标记聚合特性；

聚合特性，用于将标记了聚合特性的多个所述对象的数据信息聚合为一个聚合对象，并将聚合对象存储在所述站点的HDD存储池中。

进一步地，所述分级特性具体包括：

将对象的元数据信息和对象的数据信息存储在从站点的SSD存储池中；

若所述对象的容量值小于第一预设值，则为所述对象标记聚合特性；

若所述对象的容量值大于等于第一预设值，则不为所述对象标记聚合特性。