[发明专利]一种HDFS的垃圾回收方法及装置

说明书

本发明公开了一种HDFS的垃圾回收方法及装置，其中，所述方法包括：获得第一删除指令；根据所述第一删除指令，获得第一待删除文件大小信息；获得预定文件大小阈值；判断所述第一待删除文件大小信息是否大于所述预定文件大小阈值；如果所述第一待删除文件大小信息不大于所述预定文件大小阈值，获得第一执行指令；根据所述第一执行指令，执行所述第一删除指令，将第一待删除文件删除。解决了现有技术中单个节点删除量大且涉及删除操作的节点多，NameNode处理性能下降，进而导致集群性能下降的技术问题。

技术领域

本发明涉及大数据技术领域，尤其涉及一种HDFS的垃圾回收方法及装置。

背景技术

伴随业务发展，数据量呈指数级增长，“硬盘渐满、需要集中清理数据”、“集群不稳定、需要集中释放文件”等一次性删除大量文件的需求日渐增多。在启用垃圾回收机制的前提下，HDFS的默认删除策略是将待删除文件重命名并移动到/trash目录下，并在超过配置的保留时间后自动删除。现有技术中含有通过日志重新构建文件系统目录结构，恢复出丢失文件，从而实现HDFS删除文件的恢复，以及通过控制HDFS文件的访问权限控制设备及存储介质来提升HDFS文件的安全性的方法。

本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

单个节点删除量大且涉及删除操作的节点多，DataNode服务性能下降、NameNode处理性能下降，进而导致集群性能下降。

发明内容

本申请实施例通过提供一种HDFS的垃圾回收方法及装置，解决了现有技术中单个节点删除量大且涉及删除操作的节点多，NameNode处理性能下降，进而导致集群性能下降的技术问题，达到了通过分批删除小文件，从而减少执行操作节点、提高DataNode的服务性能、提高NameNode的处理性能，进而提高集群性能的技术目的。

本申请实施例通过提供一种HDFS的垃圾回收方法，其中，所述方法包括：获得第一删除指令；根据所述第一删除指令，获得第一待删除文件大小信息；获得预定文件大小阈值；判断所述第一待删除文件大小信息是否大于所述预定文件大小阈值；如果所述第一待删除文件大小信息不大于所述预定文件大小阈值，获得第一执行指令；根据所述第一执行指令，执行所述第一删除指令，将第一待删除文件删除。

另一方面，本申请还提供了一种HDFS的垃圾回收装置，其中，所述装置包括：第一获得单元，所述第一获得单元用于获得第一删除指令；第二获得单元，所述第二获得单元用于根据所述第一删除指令，获得第一待删除文件大小信息；第三获得单元，所述第三获得单元用于获得预定文件大小阈值；第一判断单元，所述第一判断单元用于判断所述第一待删除文件大小信息是否大于所述预定文件大小阈值；第四获得单元，所述第四获得单元用于如果所述第一待删除文件大小信息不大于所述预定文件大小阈值，获得第一执行指令；第一执行单元，所述第一执行单元用于根据所述第一执行指令，执行所述第一删除指令，将第一待删除文件删除。

另一方面，本申请实施例还提供了一种HDFS的垃圾回收装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述第一方面所述方法的步骤。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

由于采用了通过合理配置参数，将垃圾回收站一次性删除大量文件的操作转化为分批删除集群承受范围内的小文件的操作，从而加入InvalidateBlocks集合的block会变少，相应的，InvalidateBlocks集合变小，需要通过心跳机制接收并执行删除操作的DataNode也会变少；下次BlockReport之前应删除块未被处理完成的可能性下降，进而产生无效块影响集群性能的概率也会降低；节点的待删除块数量变少，其处理时间及锁持有时间也会相应缩短，进而有利于NameNode处理性能的提升。达到了通过分批删除小文件，从而减少执行操作节点、提高DataNode的服务性能、提高NameNode的处理性能，进而提高集群性能的技术目的。