[发明专利]一种分布式存储文件系统的数据删除方法及装置

说明书

技术领域

本申请涉及数据存储领域，特别涉及分布式存储文件系统中的一种数据删除方法及装置。

背景技术

在大数据时代，数据信息的作用越来越大。不可避免的，数据的存储是个至关重要的问题。在数据存储的过程中，总是会存在一些无效的数据，这些数据会占用相当一部分的存储资源，还会对有效数据形成干扰，严重影响人们对于数据库中数据资源的利用和数据分析的结果。

目前最热门的存储系统无疑是基于分布式文件存储架构的分布式文件存储系统，它主要用于存储文档、图像、视频之类的数据。该系统以全局管理的方式管理系统资源，它可以任意调度集群中的存储资源，并且调度过程是“透明”的。

分布式存储系统采用可扩展的系统结构，不但提高了系统的可靠性、可用性和存取效率，还易于扩展。以高性能、高容量为主要特性的分布式存储系统，一般满足以下四个条件：应用于网络环境中；单个文件数据分布存放在不同的节点上；支持多个终端多个进程并发存取；提供统一的目录空间和访问名称。

但是目前在分布式存储文件系统中主要靠人工对无效数据进行筛选和删除，效率低下且存在误操作风险。数据库的内容庞大，人工删除无效数据不可避免的会因为工作疲劳等因素存在误操作的高风险。

发明内容

有鉴于此，本申请提供了一种数据删除的方法及装置，通过对数据设置有效期，数据检测发现有效期满的数据并删除，解决了现有技术中人工筛选无效数据并删除的低效高风险问题。该方法如下：

设置数据的有效期标签；

将所述有效期标签存到检测表中；

在设定时间遍历所述检测表，筛选出所述检测表中有效期满的标签；

删除所述检测表中所述有效期满的标签和其对应的数据。

其中，所述在设定时间遍历所述检测表包括：

利用所述检测表中剩余数据的有效期标签，通过线性回归法计算得到所述设定时间。

其中，所述删除所述检测表中所述有效期满的标签和其对应的数据之后还包括：

再次利用线性回归法计算出设定时间后，利用该设定时间对原先计算出的设定时间进行校正。

其中，所述删除所述检测表中所述数据标签和其对应的数据，包括：

调用删除程序删除所述检测表中所述有效期满的标签和其对应的数据。

本申请还包括一种分布式存储文件系统的数据删除装置，所述装置包括：

标签设置模块，用于设置数据的有效期标签；

标签映射模块，用于将所述有效期标签存到检测表中；

标签遍历模块，用于在设定时间遍历所述检测表，筛选出所述检测表中有效期满的标签；

数据删除模块，用于删除所述检测表中的所述有效期满的标签和其对应的数据。

其中，所述标签遍历模块包括：

时间计算子模块，用于根据检测表中剩余数据有效期通过线性回归法计算得到遍历检查表的时间。

其中，所述标签遍历模块还包括：

时间校正子模块，用于再次利用线性回归法计算出设定时间后，利用该设定时间对原先计算出的设定时间进行校正。

其中，所述数据删除模块具体用于调用删除程序删除所述检测表中所述数据标签和其对应的数据。

本申请提供了一种分布式文件存储系统的数据删除方法，该方法通过对数据设置有效期，在预先设定的时间检测数据的有效期，有效期满则删除。使得数据存储系统能够自动筛选出无效数据并删除，避免了人工操作带来的低效率高风险。本申请还提供了一种分布式文件存储系统的数据删除装置，具有上述有益效果，此处不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的一种分布式文件存储系统的数据删除方法流程图；

图2为本申请实施例所提供的另一种分布式文件存储系统的数据删除方法流程图；

图3为本申请实施例所提供的分布式文件存储系统的数据删除装置示意图。

具体实施方式

本发明的核心是提供一种分布式文件存储系统的无效数据删除方法及装置，实现系统能够自动筛选无效数据并将其删除，解决了人工筛选无效数据时造成的低效率高风险的问题。