[发明专利]一种海量对象存储的在线扩容方法在审
| 申请号： | 202011093410.7 | 申请日： | 2020-10-14 |
| 公开（公告）号： | CN112181309A | 公开（公告）日： | 2021-01-05 |
| 发明（设计）人： | 南坤;谢赟;韩欣;孙卓峰 | 申请（专利权）人： | 上海德拓信息技术股份有限公司 |
| 主分类号： | G06F3/06 | 分类号： | G06F3/06;G06F9/50 |
| 代理公司： | 上海中外企专利代理事务所(特殊普通合伙) 31387 | 代理人： | 孙益青 |
| 地址： | 200233 上海*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 海量 对象 存储 在线 扩容 方法 | ||
1.一种海量对象存储的在线扩容方法，其特征在于，包括以下步骤：
S1、用户通过restfulAPI创建(bucket)存储桶，后端会同步创建一个或多个索引(index)对象，用于保存该存储桶下的对象列表；
S11、用户通过restfulAPI查询(bucket)存储桶对象列表时，后端会使用归并排序输出存储桶内对象，排序算法随着对象规模增大，会增加计算量和内存，数据IO性能受到严重影响；
S2、单集群下对zone(使用zone来管理用户数据的存储位置，zone由一组存储池组成)添加OSD的方式扩容实现扩容存储池(pools)；
S21、用户通过restfulAPI配置副本级别容错域，即让同一个replica的数据，放在不同的磁盘/机器/Rack/机房；
S22、后端会按照hash均衡算法重新计算容错域对象分布，集群出现迁移重平衡，数据IO开始大面积波动；
S23、待集群重新平衡后用户通过restfulAPI访问数据正常；
S24、当数据量持续增加，用户继续按照2-1持续扩容，此时就需要增加容错域对象组数量，集群出现迁移重平衡，数据访问开始大面积波动；
S3、多集群扩容方式扩bucket(多bucket)；
S31、用户创建新集群，通过restfulAPI创建新的(bucket)存储桶；
S32、用户将后续的数据放置到新的bucket存储桶，用户业务模型适配多个bucket以正常访问业务；
S33、用户通过restfulAPI发起数据访问时，通过遍历各个bucket查找数据或者用户自己保存数据分片元数据，查找目标数据对应的bucket；
S34、用户通过zone与zone之间的同步机制，实现不同步数据达到扩容目的，但该方法必须同步元数据，元数据同步流程随着对象规模增大，会增加计算量和内存，数据IO性能受到严重影响。
2.一种海量对象存储的在线扩容方法，其特征在于，包括以下步骤：所述给用户侧提供了单个存储桶支持亿级以上非结构化数据的存储访问，且用户侧RESTful接口兼容原有标准接口。
3.一种海量对象存储的在线扩容方法，其特征在于，包括以下步骤：所述基于一致性hash算法的RingSet及UnionBucket可扩展性强。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海德拓信息技术股份有限公司，未经上海德拓信息技术股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202011093410.7/1.html，转载请声明来源钻瓜专利网。
- 上一篇：一种高强清洁农用压地辊胶的制备方法
- 下一篇：一种电网规划区域的划分方法
