[发明专利]一种缓存方法、装置及可读存储介质有效
申请号: | 202210089975.0 | 申请日: | 2022-01-26 |
公开(公告)号: | CN114116634B | 公开(公告)日: | 2022-04-22 |
发明(设计)人: | 臧林劼 | 申请(专利权)人: | 苏州浪潮智能科技有限公司 |
主分类号: | G06F16/172 | 分类号: | G06F16/172;G06F16/182 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 刘珂 |
地址: | 215100 江苏省苏州市吴*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 缓存 方法 装置 可读 存储 介质 | ||
1.一种缓存方法,其特征在于,应用于分布式存储系统,包括:
获取待缓存文件;
统计所述待缓存文件中的文件大小,并确定所述待缓存文件中,低于预设大小的文件数量;
若所述低于预设大小的文件数量小于或等于预设标准,则将所述待缓存文件的缓存空间大小设置为默认值;
若所述低于预设大小的文件数量大于预设标准,则将所述待缓存文件的缓存空间大小设置为预设值,所述预设值大于所述默认值;
将所述待缓存文件缓存至所述缓存空间;
根据所述缓存空间中的各缓存文件的热度生成特征值,所述特征值与各所述缓存文件的热度正相关。
2.根据权利要求1所述的缓存方法,其特征在于,根据所述缓存空间中的各缓存文件的热度生成特征值包括:
根据各所述缓存文件的元数据大小,数据大小以及访问频次,迭代生成各所述缓存文件的特征值。
3.根据权利要求2所述的缓存方法,其特征在于,所述方法还包括:
根据所述预设值或默认值确定缓存上限;
判断当前全部所述缓存文件的大小是否超过所述缓存上限;
若是,根据所述特征值删除特征值最低的所述缓存文件,并返回判断当前全部所述缓存文件的特征值是否超过所述缓存上限的步骤。
4.根据权利要求3所述的缓存方法,其特征在于,所述方法还包括:
设置两个链表队列,第一队列及第二队列,并将新缓存文件存储至所述第一队列的表头,并将所述新缓存的特征值设置为初始值;
每隔预设时间,根据所述队列中各所述缓存文件的被访问频率,计算并修改各所述缓存文件的特征值,并根据特征值,将各所述缓存文件进行排序,特征值高于预设特征值的文件设置于所述第一队列,特征值低于所述预设特征值的文件设置于第二队列,且所述第一队列与所述第二队列中的所述缓存文件根据所述特征值由高到低进行排序。
5.根据权利要求4所述的缓存方法,其特征在于,所述统计所述待缓存文件中的文件大小,并确定所述待缓存文件中,低于预设大小的文件数量包括:
调整debug日志,过滤出Client IO请求模型日志文件,通过关键字过滤出现所述待缓存文件的索引节点列表信息,记录到索引文件中;
通过所述索引文件,计算所述待缓存文件的大小,并确定所述待缓存文件中,低于第一预设大小的文件数量。
6.根据权利要求5所述的缓存方法,其特征在于,所述获取待缓存文件包括:
通过元数据集群服务将所述待缓存文件的元数据存储到持久化存储磁盘,并通过数据IO接口获取所述待缓存文件的数据。
7.根据权利要求1至6任意一项所述的缓存方法,其特征在于,还包括:
当所述待缓存文件缓存未命中时,发出警报,并从存储底盘中获取所述待缓存文件再次进行缓存。
8.一种缓存装置,其特征在于,包括:
获取模块,用于获取待缓存文件;
统计模块,用于统计所述待缓存文件中的文件大小,并确定所述待缓存文件中,低于预设大小的文件数量;
第一设置模块,当所述低于预设大小的文件数量小于或等于预设标准时开启,用于将所述待缓存文件的缓存空间大小设置为默认值;
第二设置模块,当所述低于预设大小的文件数量大于预设标准时开启,用于将所述待缓存文件的缓存空间大小设置为预设值,所述预设值大于所述默认值;
缓存模块,用于将所述待缓存文件缓存至所述缓存空间;
生成模块,用于根据所述缓存空间中的各缓存文件的热度生成特征值。
9.一种缓存装置,其特征在于,包括存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述的缓存方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的缓存方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州浪潮智能科技有限公司,未经苏州浪潮智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210089975.0/1.html,转载请声明来源钻瓜专利网。