[发明专利]一种文件重删处理方法、系统、终端及存储介质

说明书

本申请实施例提供一种文件重删处理方法、系统、终端及存储介质，方法包括：获取上传文件的原始指纹信息和加密类型，并从文件存储系统查找与标记有所述原始指纹信息和加密类型的匹配对象；判断是否查找到所述匹配对象：若否，则按条带划分方式读取上传文件，并将读取的文件条带按所述加密类型加密；获取加密文件条带的加密前指纹信息和加密后指纹信息；根据所述加密后指纹信息，从文件存储系统的所有文件对象的下级清单列表中查找标记有所述加密后指纹信息的匹配数据块；若未查找到所述匹配数据块，则利用所述加密前指纹信息和加密后指纹信息标记所述加密文件条带，将标记后的加密文件条带保存至为所述上传文件创建的下级清单列表中。本发明能够避免在重删功能下由于用户的加密方法不同而导致的文件丢失问题。

技术领域

本发明涉及分布式对象存储系统技术领域，具体涉及一种文件重删处理方法、系统、终端及存储介质。

背景技术

分布式对象存储系统，指的是面向非结构化数据的分布式存储。现阶段，越来越多的业务场景需要使用分布式对象存储系统；随着信息化的发展，越来愈多的用户，选择将原来保存到自己的数码设备上转移到云端存储上，家庭成员之间相互分享等；科技以人为本信息化的发展，工业4.0、智能制造、企业上云、大数据、电子政务、NASA卫星中心，大型的射电望远镜等，越来越多企业和政府单位将数据放在存储集群集中管理。伴随着存储集群中数据量规模愈来愈大，文件的读写请求等操作带来了大量的磁盘IO的消耗，集群的IO吞吐量是有限的，如何提高集群的空间有效的使用，降低企业或者数据中心运营成本，数据重删成为一种有效的方式。

随着数据的集中，不同的信息，机密程度不同，为了保护用户的敏感数据信息，不同用户选择的不同的加密算法与等级。由于不同用户针对相同数据采用了不同加密算法，在开启重删的情况下，由于原始的文件指纹信息相同，但通过不同的加密算法导致落盘的最终的数据不同，如果简单地删除重复的数据，很可能造成文件存储系统的混乱，部分用户无法读取文件的问题。因此不能通过简单的对象级重删逻辑进行处理，同时对加密文件的重删处理引入了大量的计算，带来了计算性能的消耗。

发明内容

针对现有技术的不足，本发明提供一种文件重删处理方法、系统、终端及存储介质，以解决上述技术问题。

第一方面，本申请实施例提供一种文件重删处理方法，所述方法包括：

获取上传文件的原始指纹信息和加密类型，并从文件存储系统查找与标记有所述原始指纹信息和加密类型的匹配对象；

判断是否查找到所述匹配对象：若否，则按条带划分方式读取上传文件，并将读取的文件条带按所述加密类型加密；

获取加密文件条带的加密前指纹信息和加密后指纹信息；

根据所述加密后指纹信息，从文件存储系统的所有文件对象的下级清单列表中查找标记有所述加密后指纹信息的匹配数据块；

若未查找到所述匹配数据块，则利用所述加密前指纹信息和加密后指纹信息标记所述加密文件条带，将标记后的加密文件条带保存至为所述上传文件创建的下级清单列表中。

进一步的，所述方法还包括：

若查找到所述匹配对象，则采集所述匹配对象的清单列表，并从所述清单列表中查找所述匹配对象的所有数据块；

将所述匹配对象的所有数据块的引用计数均累加1次；

采集所述匹配对象的标记信息，所述标记信息包括所述匹配对象的加密类型、加密前指纹信息和加密后指纹信息；

将所述匹配对象的标记信息作为所述匹配对象的文件名。

进一步的，所述按条带划分方式读取上传文件，包括：

预先设置条带大小；