[发明专利]一种基于MinIO工业质检文件分布式存储方法

权利要求书

1.一种基于MinIO工业质检文件分布式存储方法，其特征在于：包括顺次连接的数据预处理模块、数据同步模块、数据存储模块以及数据清洗模块；

所述数据预处理模块用于扫描配置信息并存储临时文件到磁盘；

所述数据同步模块用于实时监听并将发起请求将临时文件上传；

所述数据存储模块用于将临时文件存储到MinIO集群并添加文件记录；

所述数据清洗模块用于定时清理临时文件节约系统资源；

所述数据预处理模块生成临时文件并进行事件发布，所述数据同步模块监听所述数据预处理模块发布的事件并发起请求上传临时文件，所述数据存储模块将所述数据同步模块上传的临时文件进行存储并落表记录，所述数据清洗模块查询所述数据存储模块的记录进行临时文件定期清理完成磁盘空间整理；

包括顺次开展的数据预处理阶段、数据同步阶段、数据存储阶段以及数据清洗阶段；具体步骤如下：

第一步骤、数据预处理阶段加载系统配置，扫描并加载系统配置信息；

第二步骤、数据预处理阶段接收客户端发起的请求并将文件作为临时文件保存到本地服务器；

第三步骤、数据预处理阶段临时文件上传本地服务器后进行事件发布；

第四步骤、数据同步阶段进行事件监听，实时收集到上传到本地服务器的临时文件信息；

第五步骤、数据同步阶段发起请求将本地临时文件同步上传到MinIO集群；

第六步骤、数据存储阶段根据请求将本地临时文件存储到MinIO集群；

第七步骤、数据存储阶段根据存储结果同步文件存储记录到Mysql；

第八步骤、数据清洗阶段根据定时任务定时发起请求查询文件落库记录；

第九步骤、数据清洗阶段根据查询结果清理本地服务器临时文件完成数据清洗。

2.根据权利要求1所述的一种基于MinIO工业质检文件分布式存储方法，其特征在于：在第一步骤中，系统配置信息包括基础服务器配置信息、MinIO配置Endpoint、MinIO配置Access Key以及MinIO配置Secret Key。

3.根据权利要求1所述的一种基于MinIO工业质检文件分布式存储方法，其特征在于：在第二步骤中，接收客户端发起的请求，可以从请求中依次获取文件对象，并将其作为临时文件保存到本地服务器。

4.根据权利要求1所述的一种基于MinIO工业质检文件分布式存储方法，其特征在于：在第三步骤中，根据第二步骤的结果利用Spring内置ApplicationEventPublisher进行事件发布，从而将业务解耦。

5.根据权利要求1所述的一种基于MinIO工业质检文件分布式存储方法，其特征在于：在第四步骤中，依据Spring内置ApplicationListener进行事件监听，实时收集到上传到本地服务器的临时文件信息。

6.根据权利要求1所述的一种基于MinIO工业质检文件分布式存储方法，其特征在于：在第五步骤中，根据第四步骤的监听结果，发起请求将文件依次上传到MinIO集群。

7.根据权利要求1所述的一种基于MinIO工业质检文件分布式存储方法，其特征在于：在第九步骤中，根据查询结果，如果文件已经存储成功且Mysql中存在相应记录，则清理本地服务器临时文件完成数据清洗。