[发明专利]数据的清理方法及装置、电子设备和计算机可读存储介质

说明书

本申请实施例提供了一种数据的清理方法及装置、电子设备和计算机可读存储介质；该方法包括：将待清理的数据移动到对应目标目录的文件中；从所述目标目录中扫描出满足第一预设条件的第一目录；其中，所述第一预设条件是指文件数小于第一预设阈值，且文件的占用空间小于第二预设阈值；在所述待清理的数据所处的系统处于第一运行状态的情况下，对所述第一目录中的文件进行清理，其中，所述第一运行状态是指用于指示所述系统运行状态繁忙程度的指标值低于第三预设阈值。通过本申请，在考虑待清理的数据的文件数据和文件的占用空间以及系统运行状态的繁忙程度后再确定是否清理数据，实现了对待清理数据的平滑清理过程，降低了对系统服务的影响。

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据的清理方法及装置、电子设备和计算机可读存储介质。

背景技术

现有技术中，Hadoop分布式文件系统(Hadoop Distributed Fi le System，HDFS)中的垃圾数据包括以下两种：第一种是用户通过命令操作所产生的Trash(垃圾)数据；第二种是任务失败所产生的临时数据。对于第一种中的Trash数据，通常是配置生存时间值(Time to Live，TTL)以实现自动清理，但基于TTL的清理方式没有考虑到Trash数据的规模，如果删除的数据的规模较大，可能会导致HDFS系统服务宕机。对于第二种中的临时数据，HDFS系统只要产生了则会对其进行清理，如果当前删除的临时数据的规模较大，则也可能会导致HDFS系统服务宕机。可见，HDFS系统对垃圾数据进行清理的方式，会对HDFS系统运行状态产生比较大影响的问题。

发明内容

本申请实施例的目的在于提供一种数据的清理方法及装置、电子设备和计算机可读存储介质，以实现对垃圾数据的平滑处理。具体技术方案如下：

在本申请实施的第一方面，首先提供了一种数据的清理方法，包括：将待清理的数据移动到对应目标目录的文件中；从所述目标目录中扫描出满足第一预设条件的第一目录；其中，所述第一预设条件是指文件数小于第一预设阈值，且文件的占用空间小于第二预设阈值；在所述待清理的数据所处的系统处于第一运行状态的情况下，对所述第一目录中的文件进行清理，其中，所述第一运行状态是指用于指示所述系统运行状态繁忙程度的指标值低于第三预设阈值。

在本申请实施的第二方面，还提供了一种数据的清理装置，包括：移动模块，用于将待清理的数据移动到对应目标目录的文件中；扫描模块，用于从所述目标目录中扫描出满足第一预设条件的第一目录；其中，所述第一预设条件是指文件数小于第一预设阈值，且文件的占用空间小于第二预设阈值；清理模块，用于在所述待清理的数据所处的系统处于第一运行状态的情况下，对所述第一目录中的文件进行清理，其中，所述第一运行状态是指用于指示所述系统运行状态繁忙程度的指标值低于第三预设阈值。

在本申请实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的数据的清理方法。

在本申请实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的数据的清理方法。

通过本申请实施例，先将待清理的数据移动到对应目标目录的文件中，进而只有在待清理的数据所处的系统处于第一运行状态的情况下，对文件数小于第一预设阈值，且文件的占用空间小于第二预设阈值的第一目录中的文件进行清理，也就是说，虽然目标目录中的文件均是待清理的数据，但是，并不是直接对所有待清理的数据进行清理，而是需要考虑待清理的数据的文件数据和文件的占用空间，以及系统运行状态的繁忙程度，即在指标值低于第三预设阈值的情况下，才会对第一目录中的文件进行删除，即先删除文件数较少且占用空间较小的目录，而不会直接删除规模较大的目录，实现了对待清理数据的平滑清理过程，因此，通过本申请解决了HDFS系统对垃圾数据进行清理的方式，会对HDFS系统运行状态产生比较大影响的问题，从而可以降低对系统服务的影响，以提升服务稳定性和可用性。

附图说明