[发明专利]一种对象存储中文件删除或归档的方法以及系统在审
| 申请号: | 202011030651.7 | 申请日: | 2020-09-27 |
| 公开(公告)号: | CN112148687A | 公开(公告)日: | 2020-12-29 |
| 发明(设计)人: | 孙超;郭浩;黄东 | 申请(专利权)人: | 上海七牛信息技术有限公司 |
| 主分类号: | G06F16/16 | 分类号: | G06F16/16;G06F16/14;G06F16/11;G06F16/17 |
| 代理公司: | 上海硕力知识产权代理事务所(普通合伙) 31251 | 代理人: | 郭桂峰 |
| 地址: | 201203 上海市浦东新区中*** | 国省代码: | 上海;31 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 对象 存储 文件 删除 归档 方法 以及 系统 | ||
1.一种对象存储中文件删除或归档的方法,应用于存储系统,所述存储系统包括内部存储系统和外部存储系统,所述内部存储系统存储常用数据文库,外部存储系统存储常用数据文库和临时数据文库形成全量文件库,其特征在于,包括:
获取常用数据文库,通过权重算法计算产生常用数据文库列表,所述常用数据文库列表包括了常用数据文库出现的次数;
对全量文件库中操作次数较少的临时数据文库进行区分,筛选;
在所述全量文件库中筛选出临时数据文库并进行删除;
完成上述步骤后,下一个访问常用文件到来时重复执行上述步骤。
2.根据权利要求1所述的一种对象存储中文件删除或归档的方法,其特征在于,所述常用数据文库统计算法为:weight=m*((count1/instance1**2)+(count2/instance**2)+......),其中,记文件URL出现日期为首次数值,当天出现次数为count,首次数值距离现在天数为instance,自定义加权系数m,使用公式weight=m*count/(instance^^2)来代表文件出现当天的权重,累计该文件所有日期的权重和为总权重。
3.根据权利要求1所述的一种对象存储中文件删除或归档的方法,其特征在于,所述常用数据文库为收集一段时间内的访问日志,形成常用数据文库,然后计算得到临时数据文库,在一定的周期内,生成的常用数据文库列表为业务访问周期内的。
4.根据权利要求1所述的一种对象存储中文件删除或归档的方法,其特征在于,所述临时数据文库判断标准,未在常用数据文库列表中出现的文件定义为对应的文件为临时数据文库,统计所有出现的临时数据文库,并生成临时数据文库列表,此临时数据文库将对应到对象存储中的临时数据文库。
5.一种对象存储文件处理系统,其特征在于,包括;
文件获取模块,所述文件获取模块使用对象存储文件查询接口从对象存储中获取全量或者部分具有共同前缀特征的文件名,并将获取的文件名按照一定规律组织起来存放到队列或者数据库中,进行自由、批量、接续处理操作,进行自由、批量、接续处理操作;
文件分析模块:将所述文件获取模块获取的文件进行分析并生成同一的文件列表;
文件对比模块,将上述模块存储的文件进行筛选,筛选出临时数据文库,统计所有出现的临时数据文库,并生成临时数据文库列表;
文件操作管理模块,进行删除/归档操作,将筛选出的临时数据文库进行归档或者删除处理。
6.一种计算机可读存储介质,其特征在于,存储有程序文件,所述程序文件能够被执行以实现如权利要求1-4任意一项所述的数据存储方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海七牛信息技术有限公司,未经上海七牛信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011030651.7/1.html,转载请声明来源钻瓜专利网。





