[发明专利]一种数据表的数据清理方法及装置

说明书

本发明提供一种数据表的数据清理方法及装置，涉及大数据技术领域。所述方法包括：建立待清理数据表清单；根据表清单拆分规则，将所述待清理数据表清单拆分为多个子清单；其中，所述表清单拆分规则是预设的；遍历各个子清单，基于数据清理规则对每个数据表的分区进行筛选，获得分区清单；其中，所述数据清理规则是预设的；基于所述分区清单生成清理脚本，并执行所述清理脚本完成数据清理。所述装置用于执行上述方法。发明实施例提供的数据表的数据清理方法及装置，提高了数据清理的效率。

技术领域

本发明涉及大数据技术领域，具体涉及一种数据表的数据清理方法及装置。

背景技术

目前，随着大数据的时代来临，以Hadoop技术为基础的分布式系统广泛的应用在各个领域。Hive表作为分布式系统中的重要组件，也得到了广泛的应用。

在大数据时代，数据的规模急剧膨胀，存储空间随之增加。由于数据体量大、存储成本高等原因限制，企业在完成数据分析和挖掘之后，都会定期对数据进行清理。现有技术中，主要采用人工的方式对数据进行清理，但由于数据体量庞大，以人工的方式对数据进行清理成本高且效率低。而且，由于后期项目的考虑，在清理数据的同时，还需要从庞大的清理数据中保留部分数据，人工筛选保留数据效率也很低。因此，如何提出一种数据清理方法，能够快速对Hive表数据进行清理，本领域需要解决的重要课题。

发明内容

针对现有技术中的问题，本发明实施例提供一种数据表的数据清理方法及装置，能够至少部分地解决现有技术中存在的问题。

一方面，本发明提出一种数据表的数据清理方法，包括：

建立待清理数据表清单；

根据表清单拆分规则，将所述待清理数据表清单拆分为多个子清单；其中，所述表清单拆分规则是预设的；

遍历各个子清单，基于数据清理规则对每个数据表的分区进行筛选，获得分区清单；其中，所述数据清理规则是预设的；

基于所述分区清单生成清理脚本，并执行所述清理脚本完成数据清理。

另一方面，本发明提供一种数据表的数据清理装置，包括：

建立模块，用于建立待清理数据表清单；

拆分模块，用于根据表清单拆分规则，将所述待清理数据表清单拆分为多个子清单；其中，所述表清单拆分规则是预设的；

遍历模块，用于遍历各个子清单，基于数据清理规则对每个数据表的分区进行筛选，获得分区清单；其中，所述数据清理规则是预设的；

清理模块，用于基于所述分区清单生成清理脚本，并执行所述清理脚本完成数据清理。

再一方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述数据表的数据清理方法的步骤。

又一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一实施例所述数据表的数据清理方法的步骤。

发明实施例提供的数据表的数据清理方法及装置，能够建立待清理数据表清单，根据表清单拆分规则，将待清理数据表清单拆分为多个子清单，遍历各个子清单，基于数据清理规则对每个数据表的分区进行筛选，获得分区清单，基于分区清单生成清理脚本，并执行清理脚本完成数据清理，提高了数据清理的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：