[发明专利]一种基于MinIO工业质检文件分布式存储方法

说明书

本发明公开了一种基于MinIO工业质检文件分布式存储方法，包括顺次连接的数据预处理模块、数据同步模块、数据存储模块以及数据清洗模块，包括顺次开展的数据预处理阶段、数据同步阶段、数据存储阶段以及数据清洗阶段。该基于MinIO工业质检文件分布式存储系统及方法，解决了海量质检图片大量存储导致的系统扩展差、资源利用率低的问题，MinIO本身较为轻量，能进一步降低运维维护成本。

技术领域

本发明涉及存储方法的技术领域，尤其是一种基于MinIO工业质检文件分布式存储方法。

背景技术

基于工业质检现场产生的海量质检图片，在实际工业生产中，传统方式单点存储，且实际扩展性差，资源可利用率低，运维维护成本往往较高。

中国发明专利文献CN110491478A(申请号：201910777317.9，申请日：2019年08月22日，申请人：中电健康云科技有限公司)公开了一种基于ceph的影像文件分布式储存系统及其实现方法，包括ceph分布式文件系统、接收缓存模块、作业调度模块和元数据存储模块，方法流程为：1、部署ceph分布式存储集群，在服务器中配置用于临时存放接收到的影像文件的临时文件目录，并使作业调度模块能读取接收缓存模块中的数据；2、接收缓存模块接收并存储客户端发送的影像文件；3、启动文件读取处理任务和文件清除任务，文件读取处理任务用于周期性读取并处理临时文件目录中的影像文件，文件清除任务用于周期性删除已处理过的影像文件。然而，该方法基于CEPH运维部署，成本较高。

发明内容

本发明要解决的技术问题是：为了解决上述背景技术中存在的问题，提供一种基于MinIO工业质检文件分布式存储方法，解决了海量质检图片大量存储导致的系统扩展差、资源利用率低的问题，MinIO本身较为轻量，能进一步降低运维维护成本。

本发明解决其技术问题所采用的技术方案是：一种基于MinIO工业质检文件分布式存储系统的方法，包括顺次连接的数据预处理模块、数据同步模块、数据存储模块以及数据清洗模块；所述数据预处理模块用于扫描配置信息并存储临时文件到磁盘；所述数据同步模块用于实时监听并将发起请求将临时文件上传；所述数据存储模块用于将临时文件存储到MinIO集群并添加文件记录；所述数据清洗模块用于定时清理临时文件节约系统资源；所述数据预处理模块生成临时文件并进行事件发布，所述数据同步模块监听所述数据预处理模块发布的事件并发起请求上传临时文件，所述数据存储模块将所述数据同步模块上传的临时文件进行存储并落表记录，所述数据清洗模块查询所述数据存储模块的记录进行临时文件定期清理完成磁盘空间整理；包括顺次开展的数据预处理阶段、数据同步阶段、数据存储阶段以及数据清洗阶段。具体步骤如下：第一步骤、数据预处理阶段加载系统配置，扫描并加载系统配置信息；第二步骤、数据预处理阶段接收客户端发起的请求并将文件作为临时文件保存到本地服务器；第三步骤、数据预处理阶段临时文件上传本地服务器后进行事件发布；第四步骤、数据同步阶段进行事件监听，实时收集到上传到本地服务器的临时文件信息；第五步骤、数据同步阶段发起请求将本地临时文件同步上传到MinIO集群；第六步骤、数据存储阶段根据请求将本地临时文件存储到MinIO集群；第七步骤、数据存储阶段根据存储结果同步文件存储记录到Mysql；第八步骤、数据清洗阶段根据定时任务定时发起请求查询文件落库记录，具体定时时间可自主配置；第九步骤、数据清洗阶段根据查询结果清理本地服务器临时文件完成数据清洗。

进一步具体地说，上述技术方案中，在第一步骤中，系统配置信息包括基础服务器配置信息、MinIO配置Endpoint、MinIO配置Access Key以及MinIO配置Secret Key。

进一步具体地说，上述技术方案中，在第二步骤中，接收客户端发起的请求，可以从请求中依次获取文件对象，并将其作为临时文件保存到本地服务器。

进一步具体地说，上述技术方案中，在第三步骤中，根据第二步骤的结果利用Spring内置ApplicationEventPublisher进行事件发布，从而将业务解耦。