[发明专利]数据文件处理方法、装置、电子设备及存储介质在审
申请号: | 202110373852.5 | 申请日: | 2021-04-07 |
公开(公告)号: | CN113704204A | 公开(公告)日: | 2021-11-26 |
发明(设计)人: | 方睿 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/172 | 分类号: | G06F16/172;G06F16/16;G06F16/182;G06N20/00 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 高天华;张颖玲 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据文件 处理 方法 装置 电子设备 存储 介质 | ||
1.一种数据文件处理方法,其特征在于,所述方法包括:
响应于针对数据文件的读取请求,调用文件读取接口对所述数据文件的读取请求进行解析,得到所述数据文件的标识;
基于所述数据文件的标识遍历第一存储空间,确定所述数据文件的存储状态;
当所述数据文件的存储状态表征所述数据文件已缓存时,基于所述数据文件的标识,从所述第一存储空间获取所述数据文件的元数据;
基于所述数据文件的元数据,从第二存储空间获取所述数据文件的文件数据。
2.根据权利要求1所述的方法,其特征在于,所述基于所述数据文件的标识遍历第一存储空间,确定所述数据文件的存储状态之后,所述方法还包括:
当所述数据文件的存储状态表征所述数据文件未缓存时,基于所述数据文件的标识,调用所述文件读取接口从元数据服务器中获取所述数据文件的元数据;
基于所述数据文件的元数据,调用所述文件读取接口从文件服务器获取所述数据文件的文件数据。
3.根据权利要求2所述的方法,其特征在于,所述基于所述数据文件的标识,调用所述文件读取接口从元数据服务器中获取所述数据文件的元数据之后,所述方法还包括:
将所述数据文件的元数据存储至所述第一存储空间,并
将所述数据文件的文件数据存储至所述第二存储空间。
4.根据权利要求3所述的方法,其特征在于,所述将所述数据文件的元数据存储至所述第一存储空间,并将所述数据文件的文件数据存储至所述第二存储空间,包括:
遍历所述数据文件的历史日志,确定所述数据文件的读取频率;
当所述数据文件的读取频率大于读取频率阈值时,将所述数据文件的元数据存储至所述第一存储空间,并将所述数据文件的文件数据存储至所述第二存储空间。
5.根据权利要求3所述的方法,其特征在于,
所述将所述数据文件的元数据存储至所述第一存储空间之前,所述方法还包括:
将所述第一存储空间划分为多个第一区块,其中,所述第一区块与缓存等级一一对应;
将所述第二存储空间划分为多个第二区块,其中,所述第二区块与所述缓存等级一一对应;
所述将所述数据文件的元数据存储至所述第一存储空间,包括:
将所述数据文件的元数据存储至与所述数据文件的缓存等级对应的所述第一区块中;
所述将所述数据文件的文件数据存储至所述第二存储空间,包括:
将所述数据文件的文件数据存储至与所述数据文件的缓存等级对应的所述第二区块中。
6.根据权利要求1所述的方法,其特征在于,所述基于所述数据文件的标识遍历第一存储空间,确定所述数据文件的存储状态之前,所述方法还包括:
当已读取的历史数据文件与所述数据文件的相似度大于相似度阈值时,调用所述文件读取接口预先从元数据服务器中获取所述数据文件的元数据,并将所述数据文件的元数据存储至所述第一存储空间;
基于所述数据文件的元数据,调用所述文件读取接口预先从文件服务器获取所述数据文件的文件数据,并将所述数据文件的文件数据存储至所述第二存储空间。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对从所述第二存储空间获取的所述数据文件的文件数据进行更新验证;
当通过更新验证确定文件服务器对应的所述数据文件的文件数据发生更新时,从所述文件服务器获取更新的所述数据文件的文件数据,并基于更新的所述数据文件的文件数据更新所述第二存储空间。
8.根据权利要求7所述的方法,其特征在于,所述对从所述第二存储空间获取的所述数据文件的文件数据进行更新验证,包括:
对从所述第二存储空间获取的所述数据文件的文件数据进行编码,得到对应的验证码;
当从所述文件服务器获取的验证码与编码得到的验证码不一致时,确定所述第二存储空间存储的所述数据文件的文件数据需要进行更新。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110373852.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:数据处理方法、装置、电子设备及存储介质
- 下一篇:软件更新方法及装置