[发明专利]一种数据存储方法以及装置在审
申请号: | 201610921208.6 | 申请日: | 2016-10-21 |
公开(公告)号: | CN107977159A | 公开(公告)日: | 2018-05-01 |
发明(设计)人: | 刘飞;夏飞;张欢;熊劲;王元钢 | 申请(专利权)人: | 华为技术有限公司;中国科学院计算技术研究所 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙)44285 | 代理人: | 王仲凯 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 存储 方法 以及 装置 | ||
技术领域
本申请涉及计算机领域,尤其涉及一种数据存储方法以及装置。
背景技术
异构存储是一种数据存储机制,这种存储机制会在系统中使用多种不同的存储设备,这些存储设备各自具备不同的特性,根据应用数据访问特征将不同特性的数据存放到不同的存储设备上,充分利用各种存储设备的优势,从而在控制系统成本的前提下提升整个存储系统的性能。通常性能好的存储设备单位容量价格也较高,如果把全部数据都放到价格低性能差的存储设备上,系统的整体性能不理想;如果把全部的数据都放到价格高性能好的存储设备上,系统的成本开销太大。
而现有的分布式存储系统中通常采用三种不同的存储设备(即虚拟内存盘Ramdisk、固态硬盘(英文全称:Solid State Drives,简称:SSD)、硬盘驱动器(英文全称:Hard Disk Drive,简称:HDD))进行数据的存储,即将数据的三个副本分别存储在上述存储设备中。这样的数据存储方式使得数据需要完成三个副本的写操作之后才能数据的一致性,而HDD对数据的写操作速度慢,进而影响了系统的性能。
发明内容
本申请实施例提供了一种数据存储方法以及装置,用于提升数据存储装置的性能。
第一方面,本申请实施例提供一种数据存储方法,包括:数据存储装置将预设存储设备生成副本组合集合;然后该数据存储装置根据待存储数据的特征计算该副本组合集合中各副本组合的性能,该各副本组合的性能为该待存储数据在各副本组合中时的性能;该数据存储装置根据该各副本组合的性能从该副本组合集合中确定目标副本组合;该数据存储装置将该待存储数据存储在该目标副本组合。
本申请实施例提供的技术方案中该数据存储装置将预设存储设备生成多个副本组合集合,同时根据待存储数据的特征选择目标副本组合,即将数据存储在合适的副本组合中,进而发挥了不同副本组合的优势,从而使得提升该数据存储装置的系统性能。
可选的,该数据存储装置在根据该各副本组合的性能从该副本组合集合中确定目标副本组合时可以采用如下方式;该数据存储装置根据该各副本组合的性能建立数据热度与各副本组合之间的映射关系;然后该数据存储装置利用该映射关系和该待存储数据的数据热度确定该待存储数据对应的目标副本组合,该待存储数据的数据热度由该数据存储装置统计得到。
本申请实施例提供的技术方案中,该数据存储装置可以根据映射关系快速的确定该待存储数据的目标副本组合,加快存储速度。
可选的,该数据存储装置在将预设存储设备生成副本组合集合时可以采用如下方式:该数据存储装置先统计该预设存储设备的各副本组合;然后该数据存储装置按照预设读写场景计算该各副本组合的属性特征;最后该数据存储装置根据该各副本组合的属性特征按照预设条件生成该副本组合集合。
在此基础上,该各副本组合的该属性特征包括性能和成本,该性能包括该预设存储设备的读写延迟和读写带宽,该成本为该预设存储设备的单位容量成本;该预设条件为该数据存储装置保留性能相同的副本组合中成本最低的副本组合,并排除性能差并且成本高的副本组合。
在实际应用中,该预设条件还可以是其他的条件,只要可以组合成合适的副本组合集合即可,具体情况此处不做限定。
本申请实施例提供的技术方案中,该数据存储装置保留性能相同的副本组合中成本最低的副本组合,并排除性能差并且成本高的副本组合可以有效的缩小副本组合范围,加快存储过程中的运算。
可选的,该数据存储装置在根据待存储数据的特征计算该副本组合集合中各副本组合的性能可以采用如下方式:根据该待存储设备的数据平均访问粒度和该待存储设备的写比例确定用于计算该副本组合集合中各副本组合的性能的目标公式,该数据平均访问粒度和该写比例由该数据存储装置对该待存储数据统计得到;该数据存储装置根据该目标公式计算该副本组合集合中各副本组合的性能。
实际应用中,该数据存储装置可以根据不同的情况生成不同的目标公式,本申请实施例中,以如下目标公式为例:当该数据平均访问粒度小于预设阈值时,该目标公式为:
L(wr)=(wr×Wlat+(1-wr)×Rlat);
或,当该数据平均访问粒度大于或等于该预设阈值时,该目标公式为:
B(bw)=(wr×Wbw+(1-wr)×Rbw);
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司;中国科学院计算技术研究所,未经华为技术有限公司;中国科学院计算技术研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610921208.6/2.html,转载请声明来源钻瓜专利网。
- 上一篇:移动终端及触摸屏双击处理方法、及存储介质
- 下一篇:交换机存取资料的方法
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置