[发明专利]一种数据存储方法、装置、存储介质及终端在审

专利信息
申请号: 201810490443.1 申请日: 2018-05-21
公开(公告)号: CN108710686A 公开(公告)日: 2018-10-26
发明(设计)人: 周化锰 申请(专利权)人: 北京五八信息技术有限公司
主分类号: G06F17/30 分类号: G06F17/30;G06F3/06
代理公司: 工业和信息化部电子专利中心 11010 代理人: 于金平
地址: 100083 北京市海淀区学清*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 逻辑存储卷 数据存储 权重 存储介质 终端 均衡性 分配
【说明书】:

发明公开了一种数据存储方法、装置、存储介质及终端,该方法包括:获取所有逻辑存储卷的状态;根据所有逻辑存储卷中每个逻辑存储卷的状态,确定每个逻辑存储卷对应的第一权重值;根据第一权重值,选取用于进行本次数据存储的逻辑存储卷。本发明根据每个逻辑存储卷的状态,计算出每个逻辑存储卷对应的第一权重值,为选择本次数据存储的逻辑存储卷提供了合理的选择依据,提高了数据存储时的分配均衡性。

技术领域

本发明涉及数据存储领域,特别是涉及一种数据存储方法、装置、存储介质及终端。

背景技术

随着云计算和大数据技术的发展,新兴分布式文件,块和对象存储技术也正在逐渐取代网络附属存储(NAS,Network Attached Storage),存储区域网络(SAN,StorageArea Network)等传统的存储技术,尤其是对象存储技术更是由于互联网和云存储的发展应运而生。

数据分布策略作为分布式存储技术中的关键技术点,被广泛研究。分布式系统基础架构hadoop的底层分布式文件系统(HDFS,Hadoop Distributed File System)采用机架感知策略进行副本放置,但在该策略下数据可以被写入至负载较高的节点,造成数据分布不均衡的问题。

B站文件存储系统BFS将存储节点划分为组group,每个group管理若干个逻辑存储卷volume,每个volume又有若干备份的存储节点store负责进行实际的存储。在进行数据写入时,先获取所有group,然后根据group下的所有store,以及所有store下的volume,给group计算一个总分,根据总分对group进行权重分配,然后随机命中一个group,在这个group中再随机命中一个volume,将数据写入到这个volume中。在BFS中以group为单位进行选取,粒度比较粗,并且在文件存储系统的硬件状态发生改变后,再次选取逻辑存储卷时无法及时调整存储模式,易造成数据分配不均衡的问题。

发明内容

本发明提供一种数据存储方法、装置、存储介质及终端,用以解决现有技术在选取逻辑存储卷时的选取策略不合理,在存储系统状态发生改变时,无法及时调整存储模式,易造成数据分配不均衡的问题。

为解决上述技术问题,一方面,本发明提供一种数据存储方法,包括:获取所有逻辑存储卷的状态;根据所述所有逻辑存储卷中每个逻辑存储卷的状态,确定每个所述逻辑存储卷对应的第一权重值;根据所述第一权重值,选取用于进行本次数据存储的逻辑存储卷。

进一步,所述根据所述第一权重值,选取用于本次数据存储的逻辑存储卷,包括:根据所述第一权重值,调整每个所述逻辑存储卷上一次数据存储后的负载状态权重值,得到每个所述逻辑存储卷本次数据存储前的负载状态权重值;选择所述负载状态权重值最大的逻辑存储卷,作为进行本次数据存储的逻辑存储卷。

进一步,所述逻辑存储卷的状态至少包括如下状态之一:总空间、当前剩余空间、最小时延、最大时延、总时延。

进一步,所述根据所述所有逻辑存储卷中每个逻辑存储卷的状态,确定每个所述逻辑存储卷对应的第一权重值,包括:根据每个所述逻辑存储卷的状态,计算每个所述逻辑存储卷在每个存储节点中的第三权重值;在所述逻辑存储卷在每个存储节点中的第三权重值中,选择符合预设选择策略的第三权重值作为所述逻辑存储卷的第一权重值;其中,所述第三权重值的计算方法为:

其中,FreeSpace为所述逻辑存储卷的当前剩余空间,TotalSpace为所述逻辑存储卷总空间,TotalDelay为所述逻辑存储卷总延时,TotalWriteProcess为所述逻辑存储卷的总写入数据量,MinDelay为所述逻辑存储卷最小延时,MaxDelay为所述逻辑存储卷最大延时。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京五八信息技术有限公司,未经北京五八信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201810490443.1/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top