[发明专利]一种基于企业级超算场景的客户端多级缓存方法及系统在审
申请号: | 202010637952.X | 申请日: | 2020-07-06 |
公开(公告)号: | CN111966283A | 公开(公告)日: | 2020-11-20 |
发明(设计)人: | 吕冬冬;陆阳 | 申请(专利权)人: | 云知声智能科技股份有限公司;厦门云知芯智能科技有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京冠和权律师事务所 11399 | 代理人: | 安琪 |
地址: | 100000 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明提供了一种基于企业级超算场景的客户端多级缓存方法及系统,所述方法执行以下步骤:根据用户提交的训练任务,获取用户的UID和GID,对训练任务进行解析得到训练任务参数,在客户端创建相应的缓存目录;根据训练任务参数,按照优先级由高到低的顺序,从多级缓存中读取所需数据,多级缓存包括内存缓存、结合内存缓存与固定硬盘缓存的二级缓存和分布式存储系统;若为二级缓存,则将分布式存储系统中的数据同步缓存在与固态硬盘对应的缓存目录中。根据本发明的方法,采用多级缓存机制读取数据,灵活,加快深度学习模型训练速度,减轻分布式存储系统的压力;可减少客户端频繁的访问分布式存储系统,加快训练的速度,延长硬盘寿命,降低企业成本。 | ||
搜索关键词: | 一种 基于 企业级 场景 客户端 多级 缓存 方法 系统 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于云知声智能科技股份有限公司;厦门云知芯智能科技有限公司,未经云知声智能科技股份有限公司;厦门云知芯智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202010637952.X/,转载请声明来源钻瓜专利网。
- 上一篇:一种晶圆清洗设备
- 下一篇:一种运动转化装置及其切片机