[发明专利]资源缓存方法、装置、电子设备和计算机可读介质在审
申请号: | 202111258634.3 | 申请日: | 2021-10-27 |
公开(公告)号: | CN114205416A | 公开(公告)日: | 2022-03-18 |
发明(设计)人: | 李天祥;王少辉;熊劲 | 申请(专利权)人: | 北京旷视科技有限公司;北京迈格威科技有限公司 |
主分类号: | H04L67/568 | 分类号: | H04L67/568;H04L67/10 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 岳阳 |
地址: | 100096 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 资源 缓存 方法 装置 电子设备 计算机 可读 介质 | ||
1.一种资源缓存方法,其特征在于,所述方法包括:
获取用户对目标资源的需求带宽;
基于缓存设备集群中的缓存设备的参数、所述目标资源的数据量以及所述需求带宽,确定所述目标资源的副本数量;
为所述目标资源创建所述副本数量的副本,并将所创建的副本缓存至所述缓存设备集群。
2.根据权利要求1所述的方法,其特征在于,所述目标缓存设备的参数包括读带宽峰值和存储容量;
所述基于缓存设备集群中的缓存设备的参数、所述目标资源的数据量以及所述需求带宽,确定所述目标资源的副本数量,包括:
基于所述读带宽峰值和所述存储容量,确定所述目标资源的读取效率峰值;
基于所述需求带宽、所述目标资源的数据量以及所述读取效率峰值,确定所述目标资源的副本数量。
3.根据权利要求1所述的方法,其特征在于,所述将所创建的副本缓存至所述缓存设备集群,包括:
基于所述缓存设备集群中各缓存设备的状态和/或磨损程度,从所述缓存设备集群中选取数量为所述副本数量的目标缓存设备;
将所创建的副本缓存至所述目标缓存设备。
4.根据权利要求3所述的方法,其特征在于,缓存设备的状态包括只读状态和读写状态;
所述基于所述缓存设备集群中各缓存设备的状态和磨损程度,从所述缓存设备集群中选取数量为所述副本数量的目标缓存设备,包括:
若处于读写状态的缓存设备的数量大于或等于所述副本数量,按照磨损程度由低到高的顺序,从处于读写状态的缓存设备中选取所述副本数量的缓存设备,作为目标缓存设备。
5.根据权利要求4所述的方法,其特征在于,所述基于所述缓存设备集群中各缓存设备的状态和磨损程度,从所述缓存设备集群中选取数量为所述副本数量的目标缓存设备,还包括:
若处于读写状态的缓存设备的数量小于所述副本数量,按照磨损程度由低到高的顺序,从处于只读状态的缓存设备中选取目标数量的缓存设备,将处于读写状态的缓存设备和所选取的处于只读状态的缓存设备作为目标缓存设备,所述目标数量为处于读写状态的缓存设备的数量与所述副本数量的差值。
6.根据权利要求1所述的方法,其特征在于,所述目标资源包括用于训练模型的数据集或数据集组;
所述获取用户对目标资源的需求带宽,包括:
确定采用所述目标资源训练模型的各用户所选用的批尺寸参数和训练时长,确定各用户对所述目标资源的局部需求带宽;
将所确定的局部需求带宽求和,得到用户对所述目标资源的需求带宽。
7.根据权利要求1所述的方法,其特征在于,在将所创建的副本缓存至所述缓存设备集群后,所述方法还包括:
在所述目标资源被读取的过程中,若检测所述目标资源的读带宽总量下降,基于读取所述目标资源的计算设备的处理器成本和/或用户优先级,确定副本增量;
基于所述副本增量增加副本,并将所增加的副本缓存至所述缓存设备集群。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
周期性地获取所述缓存设备集群中各缓存设备中的有效资源数据量和读带宽量,有效资源为具有访问流量的资源;
基于所获取的有效资源数据量和读带宽量,确定各缓存设备的存储效率;
从存储效率小于存储效率阈值的缓存设备中,删除无效资源,所述无效资源为不具有访问流量的资源。
9.根据权利要求1所述的方法,其特征在于,所述缓存设备集群包括固态硬盘缓存集群,所述缓存设备包括固态硬盘。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京旷视科技有限公司;北京迈格威科技有限公司,未经北京旷视科技有限公司;北京迈格威科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111258634.3/1.html,转载请声明来源钻瓜专利网。