[发明专利]一种分布式文件清理方法、装置和系统

权利要求书

1.一种分布式文件清理方法，其特征在于，所述方法包括：

按照配置的数据生命周期表，对主热集群中分布式文件中的对象进行检查，确定出待处理对象；

统计出待处理对象的对象数量；

若所述对象数量在对象总数量中的占比比例大于或等于预设的比例阈值，将所述分布式文件标记为目标清理文件；

根据所述数据生命周期表和预设的对象状态对应的处理方式，按照所述处理方式对所述目标清理文件中的对象进行清理。

2.根据权利要求1所述的分布式文件清理方法，其特征在于，所述数据生命周期表包括用户、业务种类和热集群存储时长；

所述按照配置的数据生命周期表，对主热集群中分布式文件中的对象进行检查，确定出待处理对象，包括：

将所述分布式文件中的对象的用户和业务种类与所述数据生命周期表中的用户和业务种类进行匹配，生成对应的热集群存储时长；

根据所述分布式文件中的对象的写入时间和当前时间，生成当前存储时长；

若所述当前存储时长大于或等于所述热集群存储时长，将所述分布式文件中的对象确定为待处理对象。

3.根据权利要求1所述的分布式文件清理方法，其特征在于，所述根据所述数据生命周期表和预设的对象状态对应的处理方式，按照所述处理方式对所述目标清理文件中的对象进行清理，包括：

根据所述数据生命周期表和预设的对象状态对应的处理方式，对所述待处理对象进行清理；

根据预设的对象状态对应的处理方式，对除所述待处理对象之外的对象进行清理。

4.根据权利要求3所述的分布式文件清理方法，其特征在于，所述数据生命周期表还包括是否写入温集群；

所述根据所述数据生命周期表和预设的对象状态对应的处理方式，对所述待处理对象进行清理，包括：

若所述待处理对象对应的是否写入温集群的值为是，确定所述对象状态为温数据状态；

将所述待处理对象写入设置的温集群；

将所述待处理对象的索引字段修改为预设的温集群索引值，并将所述待处理对象的索引路径修改为所述温集群的地址。

5.根据权利要求4所述的分布式文件清理方法，其特征在于，所述方法还包括：

若所述待处理对象对应的是否写入温集群的值为否，确定所述对象状态为过期状态；

将所述待处理对象的索引字段修改为预设的过期索引值。

6.根据权利要求3所述的分布式文件清理方法，其特征在于，所述根据预设的对象状态对应的处理方式，对所述除所述待处理对象之外的对象进行清理，包括：

将所述除所述待处理对象之外的对象的对象状态确定为热数据状态；

将所述待处理对象重写至确定出的目标分布式文件；

将所述待处理对象的索引字段修改为预设的热集群索引值，并将所述待处理对象的索引路径修改为所述目标分布式文件的地址。

7.根据权利要求1所述的分布式文件清理方法，其特征在于，在所述根据所述数据生命周期表和预设的对象状态对应的处理方式，按照所述处理方式对所述目标清理文件中的对象进行清理之后，还包括：

将所述目标清理文件进行回收。

8.根据权利要求7所述的分布式文件清理方法，其特征在于，在所述将所述目标清理文件进行回收之后，所述方法还包括：

将所述目标清理文件从所述主热集群对应的备热集群中删除。

9.一种分布式文件清理系统，其特征在于，所述系统包括文件检查组件、文件分级组件和主热集群；

所述文件检查组件用于按照配置的数据生命周期表，对主热集群中分布式文件中的对象进行检查，确定出待处理对象；统计出待处理对象的对象数量；若所述对象数量在对象总数量中的占比比例大于或等于预设的比例阈值，将所述分布式文件标记为目标清理文件；

所述文件分级组件用于根据所述数据生命周期表和预设的对象状态对应的处理方式，按照所述处理方式对所述目标清理文件中的对象进行清理。