[发明专利]小文件处理方法与装置在审
申请号: | 201810396811.6 | 申请日: | 2018-04-28 |
公开(公告)号: | CN108614879A | 公开(公告)日: | 2018-10-02 |
发明(设计)人: | 范洪月;宋文鹏 | 申请(专利权)人: | 众安信息技术服务有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京永新同创知识产权代理有限公司 11376 | 代理人: | 钟胜光 |
地址: | 518052 广东省深圳市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 小文件 哈希 数据库 映射信息 文件组 缓存 小文件存储 查找效率 缓存占用 数据量 索引 写入 存储 压缩 | ||
1.一种小文件的写入方法,其特征在于,所述方法包括:
基于小文件的内容来确定所述小文件的哈希信息;
如果数据库中并未包括所述小文件的哈希信息,则将所述小文件存储到所述数据库中指定的文件组中,并确定所述小文件与所述文件组之间的映射信息;以及
将所述哈希信息和所述映射信息存储到所述数据库中。
2.如权利要求1所述的方法,其特征在于,所述小文件的哈希信息和所述映射信息以成对的形式被存储到所述数据库中。
3.如权利要求4所述的方法,其特征在于,所述小文件的哈希信息在前缀树中对应于所述映射信息,其中,所述前缀树中的每一个节点所对应的哈希信息包括至少一个字符。
4.如权利要求1所述的方法,其特征在于,所述文件组被配置为包括多个大小相同或不同的小文件。
5.如权利要求1所述的方法,其特征在于,所述映射信息包括以下项中的至少一个:
用来存储所述小文件的所述文件组的名称;
所述小文件在所述文件组中的位置;以及
所述小文件的大小。
6.一种小文件的读取方法,其特征在于,包括:
基于小文件的哈希信息,在缓存中确定是否已经存在所述小文件;
如果所述小文件已经存在于所述缓存中,则根据所述哈希信息来确定所述小文件的映射信息,
如果所述小文件并未存在于所述缓存中,则基于所述哈希信息在数据库中确定所述小文件的映射信息,
基于所述映射信息来读取所述小文件。
7.如权利要求6所述的方法,其特征在于,所述映射信息包括以下项中的至少一个:
存储所述小文件的文件组的名称,其中,所述文件组包括多个大小相同或不同的小文件;
所述小文件在所述指定的文件组中的位置;以及
所述小文件的大小。
8.如权利要求6所述的方法,其特征在于,所述哈希信息基于所述小文件的内容而确定。
9.如权利要求6所述的方法,其特征在于,基于所述小文件的哈希信息和所述映射信息来调整与所述缓存对应的前缀树,其中,所述前缀树中的每一个节点所对应的哈希信息包括至少一个字符。
10.如权利要求9所述的方法,其特征在于,基于所述小文件的哈希信息和所述映射信息来调整与所述缓存对应的前缀树的步骤还包括:
如果所述小文件读取自所述缓存,则将所述前缀树中的与所述小文件相对应的节点的读取次数加一;
如果所述小文件读取自所述数据库,则在所述前缀树中增加与所述小文件相对应的节点。
11.如权利要求10所述的方法,其特征在于,周期性地基于所述前缀树中的节点的读取次数来更新所述前缀树。
12.一种小文件处理装置,包括:
处理器;以及
存储器,其用于存储指令,当所述指令在执行时使得所述处理器执行如权利要求1至11的任一项所述的方法。
13.一种计算机可读存储介质,具有存储在其上的计算机可读程序指令,其特征在于,当所述指令被执行时,执行如权利要求1-11中任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于众安信息技术服务有限公司,未经众安信息技术服务有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810396811.6/1.html,转载请声明来源钻瓜专利网。