[发明专利]一种基于minio文件系统的bucket空间占比统计方法及其装置

说明书

本发明涉及一种基于minio文件系统的bucket空间占比统计方法，包括连接远程文件控制系统；识别并生成bucket列表；提取bucket单元信息；遍历bucket单元并生成层级列表；提取层级信息；遍历层级并生成文件列表；提取文件信息；遍历文件并生成配置信息；生成一级报表；分析一级报表并生成参考列表；上传参考列表至服务器。一种基于minio文件系统的bucket空间占比统计装置，包括：载入模块、总遍历模块、Bucket调用模块、Bucket遍历模块、层级调用模块、层级遍历模块、文件调用模块、文件遍历模块、预处理模块、分析模块以及上传模块。本发明可以在minio文件系统的存储空间内针对bucket空间进行有效的空间占比统计，极大地方便了工作人员对文件系统的管理，提高了工作效率。

技术领域

本发明涉及一种基于minio文件系统的bucket空间占比统计方法及其装置，属于服务端测试领域。

背景技术

在现有大业务场景下，Minio文件系统的使用越来越广泛。作为一种开源的多平台文件系统，Minio可以提供用于文件上传、下载以及修改等的诸多接口，实现轻量级的文件操作；而基于Apache License v2.0开源协议的对象存储服务，可以兼容亚马逊S3云存储服务接口，非常适合于存储大容量且非结构化的数据，例如图片、视频、日志文件、备份数据以及虚拟机镜像等；对于对象文件的大小也没有明确限制，从几kb到最大5T不等。同时，Minio作为一个非常轻量的服务,可以轻松实现与NodeJS,Redis或者MySQL等的结合。

但当后台压测平台使用minio文件系统作为文件储存介质时，会存在一个问题，即如何有效获取空间占用统计信息；若想统计所有bucket单元的占用空间，源系统不提供相关手段。现阶段的技术手段是进入机器内文件的根目录，通过输入du-sh命令查看空间使用情况。

然而作为文件系统，必然涉及数据清理；而若要实现有效的数据清理，至少需要获取各个文件的占用空间以及最新修改时间，这样才能够针对性的清理磁盘空间，而如何实现这种效果是当下需要解决的问题。

发明内容

针对现有技术的不足，本发明提供了一种基于minio文件系统的bucket空间占比统计方法，包括以下步骤：

S1、连接远程文件控制系统；

S2、对存储空间进行遍历，识别bucket单元并生成bucket列表；

S3、调用bucket列表并提取bucket单元信息；

S4、基于bucket单元信息对不同bucket单元分别进行遍历并生成相应层级列表；

S5、调用不同层级列表并提取相应层级信息；

S6、基于层级信息对不同层级分别进行遍历并生成相应文件列表；

S7、调用不同文件列表并提取相应文件信息；

S8、基于文件信息对不同文件分别进行遍历并生成相应配置信息；

S9、对所有配置信息进行预处理并生成一级报表；

S10、基于预设信息对一级报表进行进一步数据处理并生成参考列表；

S11、上传参考列表至服务器。

进一步，所述存储空间至少包括一个bucket单元。

进一步，所述bucket单元信息至少包括bucket名、bucket地址、所占存储空间量以及最新修改时间。

进一步，所述bucket单元至少包括一个层级。

进一步，所述层级信息至少包括层级名、层次地址以及所占存储空间量。

进一步，所述层级至少包括一个文件。