[发明专利]索引数据的存储方法及装置、存储系统有效
申请号: | 201711482151.5 | 申请日: | 2017-12-29 |
公开(公告)号: | CN109992196B | 公开(公告)日: | 2022-05-17 |
发明(设计)人: | 李聪 | 申请(专利权)人: | 杭州海康威视数字技术股份有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 江崇玉 |
地址: | 310051 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 索引 数据 存储 方法 装置 存储系统 | ||
本申请公开了一种索引数据的存储方法及装置、存储系统,属于存储技术领域。所述方法用于存储系统中的管理组件,存储系统还包括x个存储节点,且每个存储节点包括至少一个存储单元,x个存储节点共包括n个存储单元,且任意两个存储单元的存储路径不同,x≥1,n≥2,所述方法包括:根据存储单元的总数n确定主分片个数m,1<m≤n;获取索引数据;根据主分片个数m,在存储系统中的m个存储单元上存储索引数据,其中,索引数据由m个主分片数据组成,m个主分片数据分别存储在m个存储单元上。本申请解决了分布式存储系统的性能较差的问题,提高了分布式存储系统的性能,本申请用于索引数据的存储。
技术领域
本申请涉及存储技术领域,特别涉及一种索引数据的存储方法及装置、存储系统。
背景技术
随着存储技术的发展,具有较高容错性的分布式存储系统得到了广泛的应用。分布式存储系统包括多个存储节点,需要存储的数据通常会划分为多个数据块分别存储在该多个存储节点上。
相关技术中,每个存储节点包括多个磁盘。在存储数据前,需要在存储节点中的磁盘上构建待存储数据的索引数据。之后,再将该待存储数据存储在索引数据指示的存储地址。
但是,随着需要存储的数据越来越多,索引数据也会越来越多,若某一磁盘上存储了较多的索引数据,则会影响该磁盘所在的存储节点的性能,进而使得整个分布式存储系统的性能较差。
发明内容
本申请提供了一种索引数据的存储方法及装置、存储系统,可以解决分布式存储系统的性能较差的问题,所述技术方案如下:
第一方面,提供了一种索引数据的存储方法,用于存储系统中的管理组件,所述存储系统还包括x个存储节点,且每个所述存储节点包括至少一个存储单元,所述x个存储节点共包括n个所述存储单元,且任意两个所述存储单元的存储路径不同,x≥1,n≥2,所述方法包括:
根据所述存储单元的总数n确定主分片个数m,1<m≤n;
获取索引数据;
根据所述主分片个数m,在所述存储系统中的m个存储单元上存储所述索引数据,其中,所述索引数据由m个主分片数据组成,所述m个主分片数据分别存储在所述m个存储单元上。
可选的,所述根据所述存储单元的总数n确定主分片个数m,包括:
判断所述存储单元的总数n是否小于或等于预设数量阈值;
在所述存储单元的总数n小于或等于所述预设数量阈值时,确定m=n;
在所述存储单元的总数n大于所述预设数量阈值时,根据预设公式确定m,mn;
其中,所述预设数量阈值为所述p为所述存储系统中存储节点的最小系统物理核数。
可选的,在所述获取索引数据之后,所述方法还包括:
在所述存储系统中存储节点的总数大于1时,生成所述m个主分片数据中每个主分片数据的y个副本数据,1≤y<x,且在所述存储单元的总数n大于所述预设数量阈值时,n≥m+y·m;
在所述存储系统中存储生成的y·m个副本数据,使得每个所述主分片数据与其副本数据位于不同的所述存储节点上,且每个所述存储节点上存储的任意两个副本数据不同。
可选的,所述在所述存储系统中存储生成的y·m个副本数据,包括:
在所述存储单元的总数n小于或等于所述预设数量阈值时,将所述y·m个副本数据分为m组副本数据,并在所述m个存储单元上分别存储所述m组副本数据;
在所述存储单元的总数n大于所述预设数量阈值时,在所述存储系统中除所述m个存储单元之外的y·m个存储单元上分别存储生成的y·m个副本数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州海康威视数字技术股份有限公司,未经杭州海康威视数字技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711482151.5/2.html,转载请声明来源钻瓜专利网。
- 上一篇:屏幕点击器
- 下一篇:一种数据读写方法、装置、电子设备和存储介质
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置