[发明专利]文件处理方法、装置、电子设备、存储介质及程序产品

说明书

本公开实施例公开了一种文件处理方法、装置、电子设备、存储介质及程序产品，所述方法包括：接收目标文件写入命令；根据所述目标文件写入命令获取目标文件；若所述目标文件携带有存储位置标识，向文件存储方发送携带有所述目标文件的目标文件写入请求，以使所述文件存储方将所述目标文件存储至所述存储位置标识对应的位置。该技术方案能够对于目标文件进行存储位置的自动识别，从而使得即使在分区较多的情况下，也能够有效降低目录管理的开销，从而有效降低了目录管理成本、减少数据处理量、提高数据处理速度、提升数据处理能力。

技术领域

本公开实施例涉及数据处理技术领域，具体涉及一种文件处理方法、装置、电子设备、存储介质及程序产品。

背景技术

随着数据技术的发展，需要处理的数据量越来越大，hive，一种基于Hadoop的一个数据仓库工具的使用越来越广泛。Hive通常是基于目录实现数据的分区，即将包含数据的文件放置到某一目录下，以达到分区的效果。在现有技术中，技术人员发现在分区过多的情况下，目录管理的开销较大。因此，亟需一种在能够保证数据分区存储的前提下，降低目录管理开销的方案。

发明内容

本公开实施例提供一种文件处理方法、装置、电子设备、存储介质及程序产品。

第一方面，本公开实施例中提供了一种文件处理方法。

具体的，所述文件处理方法，包括：

接收目标文件写入命令；

根据所述目标文件写入命令获取目标文件；

若所述目标文件携带有存储位置标识，向文件存储方发送携带有所述目标文件的目标文件写入请求，以使所述文件存储方将所述目标文件存储至所述存储位置标识对应的位置。

结合第一方面，本公开实施例在第一方面的第一种实现方式中，还包括：

若所述目标文件未携带存储位置标识，获取所述目标文件的存储位置信息，根据所述存储位置信息生成存储位置标识，并将所述存储位置标识写入至所述目标文件中。

结合第一方面和第一方面的第一种实现方式，本公开实施例在第一方面的第二种实现方式中，所述将所述存储位置标识写入至所述目标文件中，包括：

将所述存储位置标识写入至所述目标文件的预设位置，其中，所述预设位置为所述目标文件的前缀、后缀或中间位置。

结合第一方面、第一方面的第一种实现方式和第一方面的第二种实现方式，本公开在第一方面的第三种实现方式中，所述将所述存储位置标识写入至所述目标文件的预设位置之后，还包括：

将预设位置信息发送给所述文件存储方。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式和第一方面的第三种实现方式，本公开在第一方面的第四种实现方式中，还包括：

根据所述存储位置标识读取目标文件。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式和第一方面的第四种实现方式，本公开在第一方面的第五种实现方式中，所述根据所述存储位置标识读取目标文件，包括：

响应于接收到目标文件读取命令，根据所述目标文件读取命令获取目标读取位置；

向所述文件存储方发送携带有所述目标读取位置的目标文件读取请求，以使所述文件存储方返回存储位置标识与所述目标读取位置匹配的目标文件。

第二方面，本公开实施例中提供了一种文件处理方法。

具体的，所述文件处理方法，包括：

接收文件读写方发送的目标文件写入请求；