[发明专利]一种对象存储中文件删除或归档的方法以及系统

说明书

本发明公开一种对象存储中文件删除或归档的方法，其步骤包括：获取常用数据文库，通过权重算法计算产生常用数据文库列表，所述常用数据文库列表包括了常用数据文库出现的次数；对全量文件库中操作次数较少的临时数据文库进行区分，筛选；在所述全量文件库中筛选出临时数据文库并进行删除；完成上述步骤后，下一个访问常用文件到来时重复执行上述步骤。本发明能够快速筛选出对象存储中那些不再被访问的文件，进行分类归档或删除，保持对象存储中文件为常用且有效的缓存文件，降低存储成本，提高对象存储的使用率。

技术领域

本发明涉及对象存储文件删除归档技术领域，具体为一种对象存储中文件删除或归档的方法以及系统。

背景技术

随着互联网的发展，特别是视频、图片等互联网应用的网站的出现，云计算CDN的发展对象存储以其分布式、可靠性、容易扩展、低成本等特点，越来越得到青睐，公有云服务商都不约而同支持对象存储，且越来越多的网站选择将非结构化的数据放置在对象存储中。

对象存储和常见的文件系统存储不同，它是一种多节点、易扩展、非结构化的存储，在对象存储中没有文件夹的概念，所有数据均存储在同一个层级中，只能通过RESTfu lAPI数据读写接口及丰富的SDK接口使用唯一的凭证访问数据，对象存储设计中屏蔽了底层文件系统，方便扩容以及存储和读取文件，淡化了文件和文件之间的关系，不能像文件系统一样直接修改对象存储上的文件，更不能通过文件属性归类查找文件。只能通过单一的文件获取文件和文件属性。

通常CDN系统中为了提高边缘节点性能和缓存效果，在对接视频网站中使用对象存储来达到永久存储的效果，提高命中减少回源。随着时间累积，对象存储中逐渐累积了大量的视频文件片段，且通常这些片段在首次访问过后将不在被用户访问，无效文件占据了大量的存储空间，使得存储成本不断增加。对象存储本身并不具备按访文件属性统计文件的特性。因此迫切需要一种可以筛选出对象存储中那些不再被访问的文件，进行分类归档或删除，保持对象存储中文件为常用且有效的缓存文件，降低存储成本，提高对象存储的使用率，为此，我们提出一种对象存储中文件删除或归档的方法。

发明内容

因此，本发明的目的是提供一种对象存储中文件删除或归档的方法，构建存储中文件删除或归档系统，快速筛选出对象存储中那些不再被访问的文件，进行分类归档或删除，保持对象存储中文件为常用且有效的缓存文件，降低存储成本，提高对象存储的使用率，大大降低使用成本，具体使用过程中，可针对所有厂商的对象存储，无绑定性，使用现有对像存储API即可实现，使用操作较为简单，提高实用性，并且外挂程序不影响对象存储和其上的业务运行，系统组件可快速分类筛选处理上亿级别存储文件。

为解决上述技术问题，根据本发明的一个方面，本发明提供了如下技术方案：

一种对象存储中文件删除或归档的方法，应用于存储系统，所述存储系统包括内部存储系统和外部存储系统，所述内部存储系统存储常用数据文库，外部存储系统存储常用数据文库和临时数据文库形成全量文件库，包括：

获取常用数据文库，通过权重算法计算产生常用数据文库列表，所述常用数据文库列表包括了常用数据文库出现的次数；

对全量文件库中操作次数较少的临时数据文库进行区分，筛选；

在所述全量文件库中筛选出临时数据文库并进行删除；

完成上述步骤后，下一个访问常用文件到来时重复执行上述步骤。