[发明专利]数据分级存储的方法和装置在审
申请号: | 202111081201.5 | 申请日: | 2021-09-15 |
公开(公告)号: | CN113741819A | 公开(公告)日: | 2021-12-03 |
发明(设计)人: | 张浩;杨俊;卢冕 | 申请(专利权)人: | 第四范式(北京)技术有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京铭硕知识产权代理有限公司 11286 | 代理人: | 王学强;苏银虹 |
地址: | 100085 北京市海淀区清*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 分级 存储 方法 装置 | ||
本公开提供了一种数据分级存储的方法和装置。所述方法应用于设置有至少两个存储层的分级存储结构,其中,存储层的读写性能从上到下依次降低,包括当前层和与当前层直接相邻的下一层,所述方法包括:执行调度线程,其中,如果当前层的使用量等于或大于第一阈值,则执行第一迁移操作,第一迁移操作将第一通道列表的最前面的至少一个通道迁移至下一层并追加到第二通道列表;并且如果当前层的使用量小于第一阈值,则执行第二迁移操作,第二迁移操作将第二通道列表的最后面的至少一个通道迁移至当前层并插入到第一通道列表的最前面,其中,第一通道列表表示包括在当前层中的通道,第二通道列表表示包括在下一层中的通道。
技术领域
本公开涉及数据存储领域,更具体地,涉及一种数据分级存储的方法和装置。
背景技术
数据分级存储是在计算机体系结构下系统按照存储性能的层次结构执行数据存储的存储策略。典型的分级存储包括两层存储层,上层相比于下层具有较高的速度和较低延迟性,并且因成本等因素上层具有较小的容量。中央处理器的速度相对较快,并且大部分工作量需要访问(例如,读或写)存储器。现有技术中分级存储所采用的存储装置为传统外存装置,例如,HDD或SSD,并因此采用两级存储架构,因其所采用的存储介质的原因存储性能存在较大局限。此外,现有技术中通常将数据同时写入上层和下层,增加了存储成本。
发明内容
本公开的目的在于提供一种数据分级存储的方法和系统。
根据本公开的一个或多个方面,提供了一种数据分级存储的方法,所述方法应用于设置有至少两个存储层的分级存储结构,其中,至少两个存储层的读写性能从上到下依次降低,包括当前层和与当前层直接相邻的下一层,所述方法包括:执行调度线程。其中,如果当前层的使用量等于或大于第一阈值,则执行第一迁移操作;如果当前层的使用量小于第一阈值,则执行第二迁移操作。其中,第一迁移操作将第一通道列表的最前面的至少一个通道迁移至下一层并追加到第二通道列表;第二迁移操作将第二通道列表的最后面的至少一个通道迁移至当前层并插入到第一通道列表的最前面。其中,第一通道列表表示包括在当前层中的通道,第二通道列表表示包括在下一层中的通道。
可选地,所述方法还可以包括:执行通道新建操作。其中,如果当前层的使用量小于第二阈值,则在当前层新建通道,将新建的通道追加到第一通道列表,并将与新建的通道对应的存储状态设置为位于当前层;如果当前层的使用量等于或大于第二阈值,则在下一层新建通道,将新建的通道追加到第二通道列表,并将与新建的通道对应的存储状态设置为位于下一层,其中,第二阈值大于等于第一阈值。
可选地,第一迁移操作可以包括:当下一层的使用量小于第三阈值时,在下一层新建目标通道;将第一通道列表的最前面的至少一个通道拷贝至目标通道;将与目标通道对应的存储状态更新为位于下一层;以及删除第一通道列表的最前面的至少一个通道。
可选地,第二迁移操作可以包括:当当前层的使用量小于第三阈值时,在当前层新建目标通道;将第二通道列表的最后面的至少一个通道拷贝至目标通道;将与目标通道对应的存储状态更新为位于当前层;以及删除第二通道列表的最后面的至少一个通道。
可选地,所述方法还可以包括:当确定待迁移通道均未被写入时再执行对应的第一迁移操作和第二迁移操作中的至少一者,待迁移通道为第一通道列表的最前面的至少一个通道和第二通道列表的最后面的至少一个通道中的至少一者。
可选地,第一迁移操作还可以包括:当确定第一通道列表的最前面的至少一个通道均未被读取时,再执行删除第一通道列表的最前面的至少一个通道的步骤。
可选地,第二迁移操作还可以包括:当确定第二通道列表的最后面的至少一个通道均未被读取时,再执行删除第二通道列表的最后面的至少一个通道的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于第四范式(北京)技术有限公司,未经第四范式(北京)技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111081201.5/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种定位装置、货架及仓储物流系统
- 下一篇:一种妇产科临床用胚胎辅助检查设备
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置