[发明专利]一种基于直接映射的对象存储后端优化方法在审
| 申请号: | 202010094568.X | 申请日: | 2020-02-16 |
| 公开(公告)号: | CN111338569A | 公开(公告)日: | 2020-06-26 |
| 发明(设计)人: | 赵靖荣;于超;熊江 | 申请(专利权)人: | 西安奥卡云数据科技有限公司 |
| 主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F12/10 |
| 代理公司: | 西安维赛恩专利代理事务所(普通合伙) 61257 | 代理人: | 刘春 |
| 地址: | 712000 陕西省西*** | 国省代码: | 陕西;61 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 基于 直接 映射 对象 存储 后端 优化 方法 | ||
1.一种基于直接映射的对象存储后端优化方法,其特征在于,按照以下步骤实施:
步骤1、将存储后端的每个磁盘,按照固定大小分成若干个命名为对象桶的空间,并对各对象桶编号;将索引按照固定大小分成若干个命名为索引桶的空间;通过分布式哈希表成比例地将待写入对象均匀分布在节点的各个磁盘上;
步骤2、通过索引实现对象指纹到物理存放位置的小范围映射;
步骤3、通过存储层实现数据的物理存储。
2.如权利要求1所述的一种基于直接映射的对象存储后端优化方法,其特征在于,所述步骤1中,通过分布式哈希表写入对象的具体方法为:
S1.1、为磁盘设置不同的权重,根据权重在哈希环上为磁盘分配不同数目的环点;
S1.2、为每个磁盘的每个环点命名,并计算每个环点的哈希值;
S1.3、组合各个磁盘环点算出的哈希值成一个哈希数组,按照哈希的数值大小排列,则各个磁盘的哈希环点就被均匀的分布在了哈希环上。
3.如权利要求2所述的一种基于直接映射的对象存储后端优化方法,其特征在于,所述对象桶在磁盘中的物理起始位置计算公式为:
ObjectBucket的物理位置=对应的IndexBucket编号*ObjectBucket的大小+ObjectBucket区起始位置。
4.如权利要求1-3中任意一项所述的一种基于直接映射的对象存储后端优化方法,其特征在于,每当有新的数据要写入时,先对所述数据进行哈希计算,得到数据的指纹;数据指纹在从上述哈希环起始位置开始进行查询,直到找到第一个比数据指纹值更大的磁盘环点;则该环点所属的磁盘,就是新的数据块应该被保存的磁盘。
5.如权利要求1-3中任意一项所述的一种基于直接映射的对象存储后端优化方法,其特征在于,当有磁盘增减的时候,根据新的磁盘拓扑结果,哈希环点将被重新计算并排序:不变环点的相对位置不会发生变化;发生变化的磁盘上的数据将移出或移入,且移动后的数据均匀成比例分布在新的磁盘组合上。
6.如权利要求1或2所述的一种基于直接映射的对象存储后端优化方法,其特征在于,所述步骤3中,当有新数据来临,根据数据的指纹,计算该对象在索引层中的存放位置,具体的步骤如下:
S2.1、应用一组哈希函数,在各个索引桶里为这个数据指纹找到一组候选桶;
S2.2、依次遍历这一组候选桶里的每一个桶,若当前索引桶里有空闲空间存放,且其对应的对象桶内有足够的连续空间存放真正的数据,则当前能存放新的对象记录;
否则,使用布谷鸟算法,在候选索引桶中踢走一个现有的对象记录到它的其它候选桶中,然后将新的对象记录放到这个空出的位置中;
S2.4、找到位置存放好对象记录和数据后,更新桶的分布图和边界图以显示变化。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西安奥卡云数据科技有限公司,未经西安奥卡云数据科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010094568.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:基于网络承载量的可靠的远程数据保护方法
- 下一篇:一种发动机增压系统及其车辆





