[发明专利]基于元数据服务器删除小文件的方法、装置及设备

说明书

本发明公开了一种基于元数据服务器删除小文件的方法，能够在元数据服务器删除小文件的过程中，计算缓冲中待删除的小文件的缓存数量，并在缓存数量小于第一阈值的时候，确定尚未缓存的待删除的且小文件数量小于第二阈值的文件目录，并将该文件目录下的小文件导入缓存中。可见，该方法在删除小文件的时候，先找到小文件数量小于第二阈值的文件目录，再将其导入缓存中以进行删除，避免了一次性删除大量小文件造成元数据服务器压力过大的问题。另外，导入缓存是在缓存中小文件数量小于第一阈值时进行的，一定程度上保证了删除效率。此外，本发明还提供了一种基于元数据服务器删除小文件的装置、设备及计算机可读存储介质，其作用与上述方法相对应。

技术领域

本发明涉及计算机领域，特别涉及一种基于元数据服务器删除小文件的方法、装置、设备及计算机可读存储介质。

背景技术

存储中的小文件应用场景，每天会生成上千万文件。虽然都是小文件，但因为数量众多，如果不加以控制，依然会占满磁盘，所以通常都会存储固定天数的数据，比如180天，早于这个时间的数据便可以删除，或者是存储集群管理者根据需要决定删除部门目录或文件。

但是，如果直接rm命令删除某天或者某部分目录的数据，一次性删除过多的文件，会导致元数据集群压力过大，最终压垮存储集群，引起元数据服务器切换，以致不能正常提供服务。

发明内容

本发明的目的是提供一种基于元数据服务器删除小文件的方法、装置、设备及计算机可读存储介质，用以解决一次性删除大量小文件导致元数据服务器压力过大，无法正常服务的问题。

为解决上述技术问题，本发明提供了一种基于元数据服务器删除小文件的方法，包括：

在元数据服务器删除小文件的过程中，计算缓存中待删除的小文件的缓存数量；

判断所述缓存数量是否小于第一阈值；

若所述缓存数量小于第一阈值，则确定尚未缓存的待删除的且小文件的数量小于第二阈值的文件目录；

将所述文件目录下的小文件导入所述缓存中，以便于所述元数据服务器删除所述文件目录下的小文件。

其中，所述尚未缓存的待删除的且小文件的数量小于第二阈值的文件目录为根据用户下发的删除指令确定的文件目录，和/或根据所述元数据服务器的预设删除策略确定的文件目录。

其中，所述确定尚未缓存的待删除的且小文件的数量小于第二阈值的文件目录包括：

判断是否存在尚未缓存且待删除的小文件；

若存在所述尚未缓存且待删除的小文件，则确定所述小文件所在的文件目录，所述文件目录包括多个层级的文件目录；

依次计算层级从高到低的文件目录下的小文件的数量，直至所述小文件的数量小于第二阈值；

确定所述小文件的数量小于所述第二阈值的文件目录。

其中，在所述判断所述缓存数量是否小于第一阈值之后，还包括：

若所述缓存数量不小于第一阈值，则在经过预设时间段之后，再次计算所述缓存中待删除的小文件的缓存数量，其中，所述预设时间段为根据所述缓存数量确定的。

本发明还提供了一种基于元数据服务器删除小文件的装置，包括：

缓存数量计算模块：用于在元数据服务器删除小文件的过程中，计算缓存中待删除的小文件的缓存数量；

缓存数量判断模块：用于判断所述缓存数量是否小于第一阈值；

文件目录确定模块：用于若所述缓存数量小于第一阈值，则确定尚未缓存的待删除的且小文件的数量小于第二阈值的文件目录；