[发明专利]基于混合存储的数据管理系统、方法、终端及介质在审
申请号: | 201811383927.2 | 申请日: | 2018-11-20 |
公开(公告)号: | CN109491618A | 公开(公告)日: | 2019-03-19 |
发明(设计)人: | 殷树;邓通亮 | 申请(专利权)人: | 上海科技大学 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 上海光华专利事务所(普通合伙) 31219 | 代理人: | 高彦 |
地址: | 201210 上*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 挂载 后端文件系统 数据管理系统 文件系统 用户态文件系统 用户数据请求 冷热 存储 终端 存储系统 管理操作 节能效果 数据标记 选择模块 冷数据 热数据 申请 取出 标签 保证 | ||
1.一种基于混合存储的数据管理系统,其特征在于,包括:
第一文件系统挂载模块,用于挂载至少一用户态文件系统;
第二文件系统挂载模块,用于基于所述用户态文件系统挂载至少两个相互独立的后端文件系统,以分别用于存放热数据和冷数据;
数据标记模块,用于标记用户数据请求以对用户数据请求中的数据的冷热属性进行标签;
文件系统选择模块,用于根据数据的冷热属性对数据进行存入对应的后端文件系统和/或从对应的后端文件系统中取出的管理操作。
2.根据权利要求1所述的基于混合存储的数据管理系统,其特征在于,所述数据标记模块标记用户数据请求的方式包括:
根据用户配置信息和/或数据特征,定义写数据请求中的数据的冷热属性;
根据用户配置信息和/或系统记录,定义读数据请求中的数据的冷热属性。
3.根据权利要求1所述的基于混合存储的数据管理系统,其特征在于,包括:
所述数据标记模块用于将待写入的全部数据统一标记为热数据或冷数据;
所述文件系统选择模块用于将不符合访问频率条件的写入数据从当前冷热属性的后端文件系统迁移至另一冷热属性的后端文件系统。
4.根据权利要求3所述的基于混合存储的数据管理系统,其特征在于,包括:
所述数据标记模块用于将待写入的全部数据统一标记为热数据;
所述文件系统选择模块用于将所述数据标记模块标记的热数据存放至热数据后端文件系统中,且记录所述热数据后端文件系统中的数据的访问频率;
所述数据标记模块还用于将访问频率落入第一预设阈值范围的数据标记为冷数据;所述文件系统选择模块用于将所述数据标记模块标记的冷数据迁移至冷数据后端文件系统中。
5.根据权利要求4所述的基于混合存储的数据管理系统,所述文件系统选择模块迁移数据的方式包括:
将访问频率落入第一预设阈值范围的数据从热数据后端文件系统中剪切至冷数据后端文件系统中;或者
将访问频率落入第一预设阈值范围的数据从热数据后端文件系统中复制至冷数据后端文件系统中。
6.根据权利要求3所述的基于混合存储的数据管理系统,其特征在于,包括:
所述数据标记模块用于将待写入的全部数据统一标记为冷数据;
所述文件系统选择模块用于将所述数据标记模块标记的冷数据存放至冷数据后端文件系统中,且记录所述热数据后端文件系统中的数据的访问频率;
所述数据标记模块还用于将访问频率落入第二预设阈值范围的数据标记为热数据;所述文件系统选择模块用于将所述数据标记模块标记的热数据迁移至热数据后端文件系统中。
7.根据权利要求6所述的基于混合存储的数据管理系统,所述文件系统选择模块迁移数据的方式包括:
将访问频率落入第二预设阈值范围的数据从热数据后端文件系统中剪切至热数据后端文件系统中;或者
将访问频率落入第二预设阈值范围的数据从热数据后端文件系统中复制至热数据后端文件系统中。
8.根据权利要求1所述的基于混合存储的数据管理系统,其特征在于,所述后端文件系统包括热数据后端文件系统和冷数据后端文件系统;其中,所述热数据后端文件系统和冷数据后端文件系统均为PVFS;所述热数据后端文件系统管理的节点的存储介质包括固态硬盘;
所述冷数据后端文件系统管理的节点的存储介质包括机械磁盘。
9.一种基于混合存储的数据管理方法,其特征在于,包括:
挂载至少一用户态文件系统;
基于所述用户态文件系统挂载至少两个相互独立的后端文件系统,以分别用于存放热数据和冷数据;
标记用户数据请求以定义用户数据请求中数据的冷热属性,并根据数据的冷热属性对数据进行存入对应的后端文件系统或从对应的后端文件系统中取出的管理操作。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海科技大学,未经上海科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811383927.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:数据储存转发方法、电子设备、存储介质
- 下一篇:缓存数据处理方法、装置和系统