[发明专利]索引数据的存储方法及装置、存储系统有效

专利信息
申请号: 201711482151.5 申请日: 2017-12-29
公开(公告)号: CN109992196B 公开(公告)日: 2022-05-17
发明(设计)人: 李聪 申请(专利权)人: 杭州海康威视数字技术股份有限公司
主分类号: G06F3/06 分类号: G06F3/06
代理公司: 北京三高永信知识产权代理有限责任公司 11138 代理人: 江崇玉
地址: 310051 浙*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 索引 数据 存储 方法 装置 存储系统
【说明书】:

本申请公开了一种索引数据的存储方法及装置、存储系统,属于存储技术领域。所述方法用于存储系统中的管理组件,存储系统还包括x个存储节点,且每个存储节点包括至少一个存储单元,x个存储节点共包括n个存储单元,且任意两个存储单元的存储路径不同,x≥1,n≥2,所述方法包括:根据存储单元的总数n确定主分片个数m,1<m≤n;获取索引数据;根据主分片个数m,在存储系统中的m个存储单元上存储索引数据,其中,索引数据由m个主分片数据组成,m个主分片数据分别存储在m个存储单元上。本申请解决了分布式存储系统的性能较差的问题,提高了分布式存储系统的性能,本申请用于索引数据的存储。

技术领域

本申请涉及存储技术领域,特别涉及一种索引数据的存储方法及装置、存储系统。

背景技术

随着存储技术的发展,具有较高容错性的分布式存储系统得到了广泛的应用。分布式存储系统包括多个存储节点,需要存储的数据通常会划分为多个数据块分别存储在该多个存储节点上。

相关技术中,每个存储节点包括多个磁盘。在存储数据前,需要在存储节点中的磁盘上构建待存储数据的索引数据。之后,再将该待存储数据存储在索引数据指示的存储地址。

但是,随着需要存储的数据越来越多,索引数据也会越来越多,若某一磁盘上存储了较多的索引数据,则会影响该磁盘所在的存储节点的性能,进而使得整个分布式存储系统的性能较差。

发明内容

本申请提供了一种索引数据的存储方法及装置、存储系统,可以解决分布式存储系统的性能较差的问题,所述技术方案如下:

第一方面,提供了一种索引数据的存储方法,用于存储系统中的管理组件,所述存储系统还包括x个存储节点,且每个所述存储节点包括至少一个存储单元,所述x个存储节点共包括n个所述存储单元,且任意两个所述存储单元的存储路径不同,x≥1,n≥2,所述方法包括:

根据所述存储单元的总数n确定主分片个数m,1<m≤n;

获取索引数据;

根据所述主分片个数m,在所述存储系统中的m个存储单元上存储所述索引数据,其中,所述索引数据由m个主分片数据组成,所述m个主分片数据分别存储在所述m个存储单元上。

可选的,所述根据所述存储单元的总数n确定主分片个数m,包括:

判断所述存储单元的总数n是否小于或等于预设数量阈值;

在所述存储单元的总数n小于或等于所述预设数量阈值时,确定m=n;

在所述存储单元的总数n大于所述预设数量阈值时,根据预设公式确定m,mn;

其中,所述预设数量阈值为所述p为所述存储系统中存储节点的最小系统物理核数。

可选的,在所述获取索引数据之后,所述方法还包括:

在所述存储系统中存储节点的总数大于1时,生成所述m个主分片数据中每个主分片数据的y个副本数据,1≤y<x,且在所述存储单元的总数n大于所述预设数量阈值时,n≥m+y·m;

在所述存储系统中存储生成的y·m个副本数据,使得每个所述主分片数据与其副本数据位于不同的所述存储节点上,且每个所述存储节点上存储的任意两个副本数据不同。

可选的,所述在所述存储系统中存储生成的y·m个副本数据,包括:

在所述存储单元的总数n小于或等于所述预设数量阈值时,将所述y·m个副本数据分为m组副本数据,并在所述m个存储单元上分别存储所述m组副本数据;

在所述存储单元的总数n大于所述预设数量阈值时,在所述存储系统中除所述m个存储单元之外的y·m个存储单元上分别存储生成的y·m个副本数据。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州海康威视数字技术股份有限公司,未经杭州海康威视数字技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201711482151.5/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top