[发明专利]一种海量对象存储的在线扩容方法

说明书

本发明公开了一种海量对象存储的在线扩容方法，所述用于保存该存储桶下的对象列表包括以下步骤：S1、用户通过restfulAPI创建(bucket)存储桶，后端会同步创建一个或多个索引(index)对象，用于保存该存储桶下的对象列表，S11、用户通过restfulAPI查询(bucket)存储桶对象列表时，后端会使用归并排序输出存储桶内对象，排序算法随着对象规模增大，会增加计算量和内存，数据IO性能受到严重影响。该海量对象存储的在线扩容方法，扩容后本方法保持原有用户S3接口不变，用户无感知的实现存储池的弹性伸缩，扩容后原有S3接口查询存储桶对象的方式从遍历查找变为hash计算，极大的减少了路由条数和寻址效率，灵活调整多个集群的负载。

技术领域

本发明涉及存储技术领域，具体为一种海量对象存储的在线扩容方法。

背景技术

随着云原生、大数据、云计算、物联网以及5G等新技术的发展，电信、互联网、政企、医疗等行业应用的日新月异，带来的海量数据爆炸性增长对传统的存储系统造成诸多挑战，当前主要的使用场景有海量数据归档备份、内容分发与数据共享、云原生应用和多云应用场景。

相对于传统的文件系统存储，对象存储摒弃了文件系统复杂的语义和目录设计，通过扁平化的Key-Value方式进行数据存储，大大简化了元数据管理的复杂度，几乎不存在存储容量上的技术限制，从而更加适用于当今各行各业的海量数据存储，特别是大数据行业的应用场景。

在多媒体应用场景，对象存储也越来越多的得到广泛的应用，用户往往存在着在线的多媒体处理需求，包括视频转码、水印、截图、切片以及鉴黄等，而面对十亿级、百亿数量级的数据需要存储系统提供急速视频，图片的在线处理，通常都面临着在突发时间点快速调度存储资源以及后续弹性均衡资源的强烈诉求，而通常的元数据扩容和数据扩容都会对业务读写产生较大的影响，在单集群下元数据的本身也会受到KV数据库由于实例过大，发生压缩后会对存储的性能和稳定性造成很大影响。

在大数据应用场景，日志数据、数据库备份，物联网行业采集数据，监控行业音视频文件，医疗行业影像，企业组织政府档案资料等场景中，传统的存储方案不仅维护困难，成本也相对高昂，扩容时不会出现原有扩容方法中由于对象达到亿级以上，存储桶为了限制单桶对象个数，使用的reshard方法，会由于reshard时间过长导致可能出现的元数据丢失的风险，单集群扩容场景下，元数据保存在kv数据库中，由于数据库实例过大，导致在触发compaction时对底层性能很稳定性产生的巨大波动，当前跨集群扩容方法基于存储桶的虚拟主机访问去进行路由，业务需要根据根据容量使用情况不断的新增bucket去扩容，需要维护多个bucket，增加了开发维护成本，后端依赖的一致性hash均衡算法，在扩容，缩容时会重新计算容错域对象分布，集群出现迁移重平衡，而当数据规模达到亿级以上时，迁移成本非常高，且业务数据性能影响不可控，所以我们提出了一种海量对象存储的在线扩容方法，以便于解决上述中提出的问题。

发明内容

本发明的目的在于提供一种海量对象存储的在线扩容方法，以解决上述背景技术提出的在大数据应用场景，日志数据、数据库备份，物联网行业采集数据，监控行业音视频文件，医疗行业影像，企业组织政府档案资料等场景中，传统的存储方案不仅维护困难，成本也相对高昂的问题。

为实现上述目的，本发明提供如下技术方案：一种海量对象存储的在线扩容方法，包括以下步骤：

S1、用户通过restfulAPI创建(bucket)存储桶，后端会同步创建一个或多个索引(index)对象，用于保存该存储桶下的对象列表；

S11、用户通过restfulAPI查询(bucket)存储桶对象列表时，后端会使用归并排序输出存储桶内对象，排序算法随着对象规模增大，会增加计算量和内存，数据IO性能受到严重影响；

S2、单集群下对zone(使用zone来管理用户数据的存储位置，zone由一组存储池组成)添加OSD的方式扩容实现扩容存储池(pools)；