[发明专利]针对Hadoop的存储清理方法、装置、计算机设备及存储介质

权利要求书

1.一种针对Hadoop的存储清理方法，其特征在于，包括下述步骤：

获取SQL执行日志；

对所述SQL执行日志进行解析，得到Hadoop中各数据表的历史访问信息；

基于所述历史访问信息生成清理策略，其中，所述清理策略为所述Hadoop中各类数据表所对应的清理策略；

根据所述清理策略对所述Hadoop中的各数据表分别进行清理，以对所述Hadoop进行存储清理；

基于所述历史访问信息生成清理反馈信息，并将所述清理反馈信息发送至预设终端，其中，所述清理反馈信息用于对所述Hadoop进行存储优化。

2.根据权利要求1所述的针对Hadoop的存储清理方法，其特征在于，在所述获取SQL执行日志的步骤之前，还包括：

获取用户提交的SQL语句；

执行所述SQL语句，并对所述SQL语句的执行过程进行监测，得到SQL执行日志。

3.根据权利要求1所述的针对Hadoop的存储清理方法，其特征在于，所述对所述SQL执行日志进行解析，得到Hadoop中各数据表的历史访问信息的步骤包括：

对所述SQL执行日志进行解析，以获取各SQL语句关联到的各数据表，以及针对所述各数据表的访问时间和访问次数；

根据得到的各数据表及其对应的访问时间和访问次数生成Hadoop中各数据表的历史访问信息。

4.根据权利要求1所述的针对Hadoop的存储清理方法，其特征在于，所述根据所述清理策略对所述Hadoop中的各数据表分别进行清理的步骤包括：

分别读取各条清理策略；

当所述清理策略属于表清理策略时，删除所述清理策略所关联的数据表；

当所述清理策略属于系统清理策略时，对所述系统清理策略所关联的数据表进行压缩或者合并操作。

5.根据权利要求4所述的针对Hadoop的存储清理方法，其特征在于，所述当所述清理策略为系统清理策略时，对所述系统清理策略所关联的数据表进行压缩或者合并操作的步骤包括：

当所述系统清理策略属于第一系统清理策略时，对所述第一系统清理策略所关联的数据表进行合并，其中，所述数据表为MR底层数据表；

当所述系统清理策略属于第二系统清理策略时，对所述第二系统清理策略所关联的数据表进行压缩，其中，所述数据表为离线hive数据表；

当所述系统清理策略属于第三系统清理策略时，对所述第三系统清理策略所关联的数据表中的历史分区进行压缩，其中，所述数据表为实时hive数据表。

6.根据权利要求1所述的针对Hadoop的存储清理方法，其特征在于，所述基于所述历史访问信息生成清理反馈信息，并将所述清理反馈信息发送至预设终端的步骤包括：

基于所述历史访问信息，识别所述Hadoop中的无效数据表及其对应的任务链路，以生成链路清理信息；

基于所述历史访问信息，生成针对所述Hadoop中分区数据表的历史分区清理信息；

基于所述历史访问信息，生成针对所述Hadoop中全量数据表的表格转换信息；

基于所述历史访问信息中的SQL语句，生成语句反馈信息；

根据所述链路清理信息、所述历史分区清理信息、所述表格转换信息和所述语句反馈信息生成清理反馈信息，并将所述清理反馈信息发送至预设终端。

7.根据权利要求6所述的针对Hadoop的存储清理方法，其特征在于，所述方法还包括：

根据所述清理反馈信息对所述Hadoop进行调整，所述调整包括链路清理、历史分区清理以及表格转换。