[发明专利]文件处理方法、装置、存储介质及计算机设备

说明书

本发明提出一种文件处理方法、装置、存储介质及计算机设备，文件为数据仓库工具中的文件，数据仓库工具包括目标类型的节点，该方法包括获取目标类型的节点所产生的镜像文件；结合数据仓库工具的目录信息，对镜像文件进行解析得到镜像文件所属的原始文件的信息；根据原始文件的信息，结合预设规则对原始文件进行合并处理。通过本发明能够实现自动化地识别数据仓库工具运行时所产生的文件，并及时地对文件进行合并处理。

技术领域

本发明涉及计算机技术领域，尤其涉及一种文件处理方法、装置、存储介质及计算机设备。

背景技术

数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL(Structured Query Language，结构化查询语言)功能，可以将SQL语句转换为分布式计算任务执行。

数据仓库工具一般运行于Hadoop分布式文件系统上，在运行过程中会产生大量的小文件。小文件的产生可能来自于：数据源导入数据仓库工具时，或者通过读取数据仓库工具的数据表做离线计算时产生。通常对单个文件，计算时需要占掉一个计算进程或者线程，大量的小文件耗费较多的计算资源，因此，有必要对数据仓库工具运行过程中所产生的文件进行处理。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于提出一种文件处理方法、装置、存储介质及计算机设备，能够实现自动化地识别数据仓库工具运行时所产生的文件，并及时地对文件进行合并处理。

为达到上述目的，本发明第一方面实施例提出的文件处理方法，所述文件为数据仓库工具中的文件，所述数据仓库工具包括目标类型的节点，包括：获取所述目标类型的节点所产生的镜像文件；结合所述数据仓库工具的目录信息，对所述镜像文件进行解析得到所述镜像文件所属的原始文件的信息；根据所述原始文件的信息，结合预设规则对所述原始文件进行合并处理。

本发明第一方面实施例提出的文件处理方法，通过获取目标类型的节点所产生的镜像文件；结合数据仓库工具的目录信息，对镜像文件进行解析得到镜像文件所属的原始文件的信息；根据原始文件的信息，结合预设规则对原始文件进行合并处理，能够实现自动化地识别数据仓库工具运行时所产生的文件，并及时地对文件进行合并处理。

为达到上述目的，本发明第二方面实施例提出的文件处理装置，所述文件为数据仓库工具中的文件，所述数据仓库工具包括目标类型的节点，包括：获取模块，用于获取所述目标类型的节点所产生的镜像文件；解析模块，用于结合所述数据仓库工具的目录信息，对所述镜像文件进行解析得到所述镜像文件所属的原始文件的信息；合并处理模块，用于根据所述原始文件的信息，结合预设规则对所述原始文件进行合并处理。

本发明第二方面实施例提出的文件处理装置，通过获取目标类型的节点所产生的镜像文件；结合数据仓库工具的目录信息，对镜像文件进行解析得到镜像文件所属的原始文件的信息；根据原始文件的信息，结合预设规则对原始文件进行合并处理，能够实现自动化地识别数据仓库工具运行时所产生的文件，并及时地对文件进行合并处理。

为达到上述目的，本发明第三方面实施例提出的非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器被执行时，使得移动终端能够执行一种文件处理方法，所述方法包括：本发明第一方面实施例提出的文件处理方法。

本发明第三方面实施例提出的非临时性计算机可读存储介质，通过获取目标类型的节点所产生的镜像文件；结合数据仓库工具的目录信息，对镜像文件进行解析得到镜像文件所属的原始文件的信息；根据原始文件的信息，结合预设规则对原始文件进行合并处理，能够实现自动化地识别数据仓库工具运行时所产生的文件，并及时地对文件进行合并处理。