[发明专利]针对Hadoop的存储清理方法、装置、计算机设备及存储介质

说明书

本申请实施例属于大数据领域，涉及一种针对Hadoop的存储清理方法、装置、计算机设备及存储介质，方法包括：获取SQL执行日志；对SQL执行日志进行解析，得到Hadoop中各数据表的历史访问信息；基于历史访问信息生成清理策略，其中，清理策略为Hadoop中各类数据表所对应的清理策略；根据清理策略对Hadoop中的各数据表分别进行清理，以对Hadoop进行存储清理；基于历史访问信息生成清理反馈信息，并将清理反馈信息发送至预设终端，其中，清理反馈信息用于对Hadoop进行存储优化。此外，本申请还涉及区块链技术，SQL执行日志可存储于区块链中_。本申请对Hadoop进行全面的存储清理，减小了Hadoop存储资源的浪费。

技术领域

本申请涉及大数据技术领域，尤其涉及一种针对Hadoop的存储清理方法、装置、计算机设备及存储介质。

背景技术

Hadoop是一种大数据软件系统运行框架，随着近些年大数据技术的普及，各类机构对Hadoop的使用也不断增长，并积累了大量的历史数据。这些历史数据不仅会占用大量的存储资源，还会影响Hadoop生态圈各组件的运行效率，因此，对Hadoop的存储清理变得尤为重要。

然而，当前针对Hadoop的存储清理技术，主要是针对MR底层数据表(mapreduce执行过程中底层生成的表文件)进行合并，这种单一的清理方式只能轻微地、暂时性地缓解Hadoop的存储压力，并无法有效地对Hadoop进行存储清理。

发明内容

本申请实施例的目的在于提出一种针对Hadoop的存储清理方法、装置、计算机设备及存储介质，以有效地对Hadoop进行存储清理，减小Hadoop存储资源的浪费。

为了解决上述技术问题，本申请实施例提供一种针对Hadoop的存储清理方法，采用了如下所述的技术方案：

获取SQL执行日志；

对所述SQL执行日志进行解析，得到Hadoop中各数据表的历史访问信息；

基于所述历史访问信息生成清理策略，其中，所述清理策略为所述Hadoop中各类数据表所对应的清理策略；

根据所述清理策略对所述Hadoop中的各数据表分别进行清理，以对所述Hadoop进行存储清理；

基于所述历史访问信息生成清理反馈信息，并将所述清理反馈信息发送至预设终端，其中，所述清理反馈信息用于对所述Hadoop进行存储优化。

为了解决上述技术问题，本申请实施例还提供一种针对Hadoop的存储清理装置，采用了如下所述的技术方案：

日志获取模块，用于获取SQL执行日志；

信息生成模块，用于对所述SQL执行日志进行解析，得到Hadoop中各数据表的历史访问信息；

策略生成模块，用于基于所述历史访问信息生成清理策略，其中，所述清理策略为所述Hadoop中各类数据表所对应的清理策略；

数据表清理模块，用于根据所述清理策略对所述Hadoop中的各数据表分别进行清理，以对所述Hadoop进行存储清理；

反馈生成模块，用于基于所述历史访问信息生成清理反馈信息，并将所述清理反馈信息发送至预设终端，其中，所述清理反馈信息用于对所述Hadoop进行存储优化。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：

获取SQL执行日志；

对所述SQL执行日志进行解析，得到Hadoop中各数据表的历史访问信息；

基于所述历史访问信息生成清理策略，其中，所述清理策略为所述Hadoop中各类数据表所对应的清理策略；