[发明专利]对象元数据聚合方法、读取方法、装置、设备及存储介质

说明书

本发明公开了对象元数据聚合方法、读取方法、装置、设备及存储介质，对象元数据聚合方法，包括：配置元数据聚合的对象个数N和元数据聚合开关；根据元数据聚合开关判断是否启动存储桶元数据聚合扫描线程；如果启动元数据聚合扫描线程，则对每一个桶索引分片，按照设置的对象个数N进行元数据聚合后存储到桶索引分片上，否则结束。在元数据聚合线程中对每个存储桶内的索引分片进行扫描，将多个对象元数据信息进行聚合成一条数据，保存在桶索引分片中，能够提高故障恢复的重构速度和站点间的同步速度。

技术领域

本发明涉及对象元数据的存储技术领域，尤其涉及一种对象元数据聚合方法、读取方法、装置、设备及存储介质。

背景技术

在大数据时代，对象存储服务(Object Storage Service，OSS)是一种新兴的海量、安全、低成本、高可靠的云存储服务，适合存放非结构化的数据，例如：视频，图片，文档等。上述非结构化数据的一大特点就是数据量大，产生的元数据也越来越大。元数据是关于数据的数据，是对象的重要信息。对象落盘存储后，越来越多的对象元数据进行操作，在很多场景下，例如重构，同步等过程中，逐渐成为性能的瓶颈点。针对上述问题，行业内目前的方案是通过提高SSD容量提升元数据的读写速度，但是该解决方案不能从根本上解决元数据导致的性能瓶颈问题。

发明内容

本发明的目的就是为了解决上述问题，提供一种对象元数据聚合方法、读取方法、装置、设备及存储介质，通过对每个桶索引分片上的元数据信息进行聚合存储的方法，提高了数据重构和数据同步的速度，有利于在故障恢复和多站点场景下的性能优化。

为了实现上述目的，本发明采用如下技术方案：

一种对象元数据聚合方法，包括：

配置元数据聚合的对象个数N和元数据聚合开关；

根据元数据聚合开关判断是否启动存储桶元数据聚合扫描线程；

如果启动元数据聚合扫描线程，则对每一个桶索引分片，按照设置的对象个数N进行元数据聚合后存储到桶索引分片上，否则结束。

存储服务开启时，立即根据元数据聚合开关判断是否启动存储桶元数据聚合扫描线程。

启动元数据聚合扫描线程后，扫描线程在设定的时间段内，扫描每一个存储桶的桶索引分片。

进行元数据聚合时，对于K1-V1,K2-V2,…,KN-VN,N个对象的元数据，组织成一个新的K-V结构：(K1,K2,…KN)-(V1,V2…VN)存储到桶索引分片上。

数据聚合以后，删除原有元数据信息。

一种对象元数据聚合的读取方法，对象元数据采用所述一种对象元数据聚合方法进行聚合，当需要读写已经聚合后的对象元数据时，首先需要读取存储桶的索引分片信息，然后逐步找到对应对象的元数据信息。

一种对象元数据聚合装置，包括：

配置模块，用于配置元数据聚合的对象个数N和元数据聚合开关；

判断模块，用于根据元数据聚合开关判断是否启动存储桶元数据聚合扫描线程；

执行模块，如果启动元数据聚合扫描线程，则对每一个桶索引分片，按照设置的对象个数N进行元数据聚合后存储到桶索引分片上，否则结束。

一种设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述一种对象元数据聚合方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种对象元数据聚合方法的步骤。

本发明的有益效果：